流量系统需求分析版本记录1、前言任务概述用户目前急需成熟的流量分析产品，即能够很好的支持NetFlow V5/V9，又可以提供丰富的流量分析统计手段。
他们对流量分析系统基本需求综合为以下几点：1.能提供基于IP地址、Ip地址段、自治域（AS）、网络协议、TOS等方式进行全面的流量/包数/SESSION数的分析和统计排名（例如要求提供分析对象内部地址排名及分析对象外部地址排名）2.能区分来自不同路由设备、不同地域(如省内各地市)不同业务类型的流量，支持流量过滤（过滤掉铁通内部流量），能根据各地市流出或流入流量进行费用分摊和结算。
3.能支持NETFLOW V5、V9版本的数据格式。
本文档的目的是收集、分析、定义流硕产品的需求。
它主要定义开发能接受的和目标客户想要的需求，以及为何这些需求存在。
详细描述如何实现这些需求不是本文档的任务。
2、简介流量系统使用范围：大型骨干网、中型骨干网、城域网、中小型局域网、IDC和网吧等。
用户应用部门：网络运营维护部门：不仅要取得网络用量，还得分析流量的来源、目的、应用及尖峰差异，才能有效实现路由优化、负载平衡分配、异常流量检测、攻击来源掌控、流量趋势分析等复杂的维运工作。
市场及业务推广部门：多媒体业务是未来电信业务发展的必然方向，它将从根本上改变传统的电信业务以话音为主的特征，代之以融合话音、数据、图像等多种内容的传输业务。
针对数据业务的市场推广上特定区域、特定人群集中的特点，在细分客户类型的基础上，针对不同的目标客户进行了市场细分，把业务推广与适用客户群有机结合起来，实施更有针对性的市场营销；更有效拓展数据业务市场。
保证核心业务的带宽及负载，以及流量计费等目前的流量分析系统，主要用于网络流量的数据统计和分析的量化，为用户展示网络的实际流量情况，但如何从这些量化的数据中为用户提出优化网络的方案，引导用户对网络进行优化，并帮助决策者提出发展规划（网络规划来源于市场和业务的规划），则比较欠缺，而这些方面正是用户使用流量分析系统更高层次的需求，也是流量分析系统需要提高，也必须达到的目标。
流量系统的两种使用需求：根据使用部门的不同，其工作职责、关注流量的焦点不同，使用流量系统出现两种不同需求：针对网络和设备的流量系统：针对设备及端口的采集、监控、分析、报表，该需求以设备端口为中心，尤其以中小型网络环境比较明显。
该类需求应该以设备及端口为导向，以设备和设备组进行监控、分析和报表。
目前流量系统多是该种形式的。
针对运营和业务应用的流量系统：针对用户群及用户业务的流量采集、监控、分析和报表，该需求以拥有大中性网络环境，市场业务多的用户比较明显，如费用摊分，应用分析等。
同时针对客户资料，使用网络资源的信息将是该系统的附加模块。
该类需求应该以对象为导向，以对象和对象组为中心，制定各种策略来监控、分析和报表。
基于对象(设备、端口、AS、IP段)制定策略，进行费用摊分、流量监控【安全检测】、流量分析、业务分析提供丰富的图形化报表以量化的数据作为基础，为市场决策与网络规划提供参考依据。
3、需求模块说明名词解释：元素：网络设备（端口）、AS号、IP段（IP段可以是大于C类网的网段，也可以是小于C 类网的网段，也可以是单个IP），元素应该包含ID、名称（AS号或IP范围）、类型（专线、拨号、pppoe、其它）等对象：是针对某个用户或某类应用而聚合起来的元素组合。
对象应包含：ID，对象名称（用户及使用类型，应用名称等），元素列表，访问权限（用户名和密码）策略：为监控、分析、摊分而制定的计算方法，比如摊分过滤内网地址，3.1 对象管理通过对元素进行分组管理，能帮助用户进行网络资源组合，同时将NetFlow输出到不同的类别，以便进行针对性监控，以及向用户授予访问权限。
元素：网络设备（端口）、AS号、IP段（IP段可以是大于C类网的网段，也可以是小于C 类网的网段，也可以是单个IP），元素应该包含ID、名称（AS号或IP范围）、类型（专线、拨号、pppoe、其它）等对象：是针对某个用户或某类应用而聚合起来的元素组合，通过对对象制定权限，可以让客户查看所属对象的内容。
对象应包含：ID，对象名称（用户及使用类型，应用名称等），元素列表，访问权限（用户名和密码）行定位。
查询条件包括：名称和类型，修改和删除作为查询结果页面链接。
变更说明3.2 数据采集、处理、保存1.全采集，采集分析所有数据，压缩保存，保存所有原始数据记录一段时间（半年）。
优点：可以通过制定查询策略来完成数据的利用，便于数据挖掘，并根据客户需求进行定制报表，或在使用过程中改变使用数据策略。
缺点：对硬件要求高，系统性能低。
2.策略采集，采集分析所有数据，针对策略保存策略需要的统计数据数据，其他数据丢失。
并针对策略定时汇聚数据，丢失原始数据记录。
优点：数据采集有针对性，系统要求低，性能高。
缺点：改变策略后，要重新开始采集数据，历史数据不全且可能无法使用。
出现安全问题或其他应用需求时，无法对原始数据进行数据挖掘和分析。
3.采集点的显示（divice group）列表显示采集点，并可以分组管理，显示当前采集点状态、输入、输出、通过链接显示该采集点的详细信息（字节、包、会话、应用数）4.数据处理：通过建立某些模型，可以将一些异常的具有某些特征的包进行合并，达到降低原始数据的目的，特别适合病毒监控，可以在数据处理的时候就可以发出告警。
5.数据转换将非netflow格式的流量数据转换成netflow格式的数据，以便系统处理。
这样可以有效支持更多的设备类型和协议类型。
变更说明：3.3 流量监控设备端口流量监控：以设备和端口为中心进行流量监控，监控内容如下：图示采集状态表及图示采集状态平均图示％，值现在图示％值接详细页面说明：1、端口展开，则显示每个端口的流量及百分比值，如果选择隐藏，则不显示端口，汇总显示设备的流量及百分比值2、每个流量都显示最大、平均、现在（最近30分钟，粒度待定）的值和百分比，百分比是流量/端口速度，流量值采样kbps为单位。
bps(调制速率): bps指的是单位时间(秒)内传输的字节位数。
3、要求用户配置采集的IP、路由器名称、端口名称、端口速度4、图示详细页面参见设备流量监控内容5、建议通过SNMP来采集路由器名称、端口名称、端口速度等名称，同时可以列出用户关心的其它数据，如系统运行时间等6、因为目前多数网络设备只提供物理端口入流量的NetFlow数据，所以采集异常流量NetFlow数据之前，首先要判断异常流量的流向，进而选择合适的物理端口去采集数据。
7、MRTG通过SNMP协议从设备处获得流量信息，分析路由设备各个接口的物理流入/流出流量；并可以取得路由器其它关键数据如CPU等端口流量监控详细（默认）设备端口名称报表生成按钮统计时间间隔（1小时、今天、24小时）统计时间段选择：统计内容选择：流量、速度、利用率（流量/端口速度）列表内容不便，只是图片可以在流量、速度、利用率切换。
Category Total Max Min AvgTraffic IN 10960.19 MB 879.7 MB 14.49 MB 405.93 MB Traffic OUT 10948.33 MB 878.76 MB 14.47 MB 405.49 MBApplicationIN [10960.19 MB]Application Traffic Traffic Percentagekazaa 7975.73 MB 73%smtp 1257.8 MB 11%Application Out [10960.19 MB]SourceIN [10960.19 MB]策略监控（业务监控）针对某项应用制定策略进行监控，可以监控核心业务的网络应用和异常情况。
产生满足监控条件的类似mrtg 的流量图。
监控策略包括内容：下图是flow-tools生成的一组协议端口和服务的监控图表，由于可以分端口显示流量，从这个图里面我们非常容易可以看到19 点的时候有一个6667（IRCUDP）的大流量攻击；事件中心告警策略管理定制告警的策略，可以将相同的告警条件应用于多个策略。
策略针对监控指标制定阀值并配合时间策略和告警方式结合。
应实现对告警策略的列表显示、新增、修改、删除1 策略ID2 策略名称3 时间策略时间策略制定（不同时间段不同门限值设置）4 报警条件（流量、字节/包、包数）（大于、等于、小于）值持续时间遇到一次，持续10分钟，持续60分钟5 告警方式系统可在图形上进行颜色告警、邮件、短信报警6 告警级别7 创建时间告警监视管理确认处理，查询统计，实现对一段时间内的告警事件进行分析排名，找出网络薄弱环节，可以生成报表。
病毒监控报警通过人工分析病毒特征，手动增加病毒包特征知识库，以及发现该病毒时采取的处理方式（告警、调用程序处理等），合并包，降低原始记录数，提高系统性能。
包特征知识库。
在针对分析网络的异常原因的一些产品中，都提供了某些对特征包（病毒）进行分析的功能。
对于我们目前的系统而言，分析病毒并不是我们的要针对的，但是通过建立某些模型，可以将一些异常的具有某些特征的包进行合并，达到降低原始数据的目的，其作用还是非常明显的。
比如通过worm red code 在netflow中表现的特征就是dstport=80,packet=3,size=120。
如果对于这种包在预处理时就能将其统计出来，汇总成一个记录，将大大降低系统负担，提高系统性能，同时能够对已知病毒和攻击进行统计分析，对提升系统的可靠性和功能性都有很大好处。
从其他产品来看，已经有很多产品提供了类似功能。
第一步：通过人的分析，写过滤器，系统可动态加入过滤器类。
第二步：自动对数据进行分析归类。
关于网络异常流量的汇聚模型A可以给出汇聚模型B模型可以统计总流量、总包数、总session数C模型有基于session/单ip(汇聚后将只统计该单IP，对端IP被替换后汇聚)，单位时间对单IP访问的源ip或目的ip数量,（汇聚后将只统计该单IP，对端IP被替换后汇聚）D模型制定应足够灵活，提供源ip、目的ip、源端口、目的端口、packet/每session、bytes/每packet、protol、的组合策略（与/或/非/大于/小于/等于/any）插件方式加入过滤类byte = M packet = N Sport = K dPort = L protocol = TCP/UDPsIP = XXX.XXX.XXX.XXX dIP = XXX.XXX.XXX.XXX对sIP或dIP进行替换，并统计替换的IP数变更说明：3.4 流量分析流量分析按时间分为实时流量分析和历史流量分析两个功能模块。