Sniffer网络流量分析(讨论稿)感谢作者Network General目录第一章从利用率看网络 (1)1.网络利用率(Utilization) (1)2.网络利用率和服务质量(QOS) (1)3.网络利用率的异常和网络异常 (3)4.如何监控网络利用率 (5)5.案例分析 (8)5.1.网络利用率异常导致网络丢包 (8)第二章从包大小分布看网络 (11)1.包大小分布(Packet Size Distribution) (11)2.包大小分布和网络效率 (11)3.包大小分布的异常和网络异常 (12)4.如何监控网络中包大小分布 (14)5.案例分析 (16)5.1.网络包大小分布异常导致网络异常 (16)第三章从协议分布看网络 (20)1.协议分布(Protocol Distribution) (20)2.协议分布和网络应用 (20)3.协议分布异常和网络异常 (20)4.如何监控网络中协议分布 (22)第四章流量产生的分析 (24)1.流量的产生 (24)2.异常流量的产生 (24)3.异常流量的分析 (25)3.1.发现异常的网络流量 (25)3.2.对异常网络流量的分析 (29)4.案例 (30)4.1.某网络的HTTP协议异常网络流量 (30)4.2.某IDC的网络异常流量分析 (36)4.3.某网络利用率异常的流量分析 (39)第五章网络应用流量评估 (44)1.应用流量特点 (44)1.1.不同应用的流量特征 (44)1.2.不同种类应用对网络系统性能的需求 (45)1.3.网络应用对网络的影响 (45)2.网络应用流量评估的目的 (46)3.网络应用流量评估实用方法 (47)3.1.网络应用流量的评估步骤 (47)3.2.网络应用流量评估内容 (49)4.案例 (52)4.1.对某办公自动化应用的流量评估 (52)4.2.对视频会议应用的流量评估 (55)第一章从利用率看网络1. 网络利用率(Utilization)网络利用率是网络中实际的网络流量同网络理论带宽的比率。
网络利用率表示着某一时刻网络中的实际流量,网络利用率是网络运行状况的重要参数。
2. 网络利用率和服务质量(QOS)在很多行业,利用率是越高越好的,如工厂里的生产机械最好24小时不停的运转,而许多专业服务的公司对员工作能力的利用希望能够达到80%以上的比率以便提高运转效率,从而降低成本,从这些方面考虑利用率是越高越好的。
与此相比,计算机数据网络的网络利用率是非常低的,很多企业内部局域网的主干网络利用率很低,低到不会超过5%,即使是IDC的出口网络(千兆带宽),网络利用率一般不会超过25%。
Internet的数据流量在过去的几年中几乎每年都会增加一倍,但同时网络的利用率却在不断的下降。
下面是一个Internet主干连接几年内的网络平均利用率统计。
month Year Traffic flowMb/sLink capacityMb/saverageutilizationMay 1996 1.51 3 50.40% Jul 1996 1.9 3 63.3 Sep 1996 1.99 3 66.3 Nov 1996 2.21 3 73.6 Jan 1997 2.37 3 67.6 Mar 1997 2.62 4 65.4 May 1997 2.86 4 71.4 Jul 1997 3.17 8 39.7 Sep 1997 2.87 8 35.9 Nov 1997 3.24 8 40.5 Jan 1998 3.88 8 48.5 Mar 1998 4.2 8 52.5 May 1998 5.05 8 63.1 Jul 1998 5.14 8 64.3 Sep 1998 5.66 8 70.7Nov 1998 6.2 8 77.5Jan 1999 8.78 24 36.6Mar 1999 9.41 24 39.2May 1999 10.63 32 33.2Jul 1999 10.03 32 31.3Sep 1999 11.62 32 36.3Nov 1999 13.26 32 41.4Jan 2000 15.52 56 27.7Mar 2000 17.81 56 31.8May 2000 15.92 64 24.9Jul 2000 19.94 155 12.9Sep 2000 24.86 155 16Nov 2000 28.37 155 18.3Jan 2001 28.75 310 9.3Mar 2001 32 310 10.3表1从上面的表中我们可以看到,从1996年到2001年,该链路的网络流量从1.51Mb/s增加到了32Mb/s,流量增加了20多倍,但网络带宽也相应的从3Mb/s 增加到了310Mb/s,增加了100倍,网络带宽的增加远远大于网络实际流量的增长,这就造成网络的利用率不是升高,而是在不断的下降。
大家花费大量的金钱进行网络的建设,近十年内,局域网的主干网络带宽从10M升级到100M,再升级到千兆,现在又要升级到万兆,而与此同时网络的利用率却不断的降低,这种情况下许多人会很困扰——我们大量的对网络建设的投资是不是浪费呢?当然不是,我们不断升级网络带宽,降低网络的利用率,使网络的QoS大大的提高了,也就是我们得到了更好的网络服务。
这好比人们购买的小汽车的实际使用率可能不足5%,但越来越多的人愿意来花很多钱来买一样,是为了得到更好的服务质量,同样,没有一个驾驶员愿意看到公路上满负荷的车辆,这样的公路没人愿意走。
正是网络利用率的不断下降使人们享受到了越来越好的网络服务,有人统计过现在人们用ADSL或其他宽带技术上互联网下载的流量并没有比当年人们用电话拨号上网时的下载流量大多少,但人们却得到了更好的上网体验,得到了质量更好的服务。
正是因为人们需要计算机网络提供更好的QoS,实际经验告诉我们网络实际运转时的网络利用率最好不要超过20%-30%,而对一些实时性要求较高的应用,网络利用率最好不要超过10%-15%,否则网络流量造成的延迟(delay)、抖动(jitter)和丢包将大大影响应用的正常运行。
图1从图1我们可以看出,在网络利用率在20%时,网络的丢包率在0.2%以下,随着网络利用率的增长,网络的丢包率也会相应的升高。
高质量的语音应用要求网络的丢包率在0.2%以下,高质量的图象传输要求网络的丢包率在0.1%以下,如果网络的利用率在30%以上,由此造成的网络丢包对此类应用来讲是难以接受的。
3. 网络利用率的异常和网络异常我们知道网络利用率的升高会造成网络的丢包,在网络利用率升高到一定程度时,网络丢包会达到一个无法容忍的地步,从而造成网络异常,这种网络异常的通常表现形式就是网络大量丢包从而导致很多应用无法正常运行。
在有些情况下,如感染病毒的计算机发出大量的网络流量、某些特别耗费网络带宽的应用等都能够造成网络利用率的异常升高,从而影响网络的正常运行。
因此及早的发现网络利用率的异常可以帮助网络管理员及早的发现网络异常。
想要发现网络利用率的异常,首先你要知道你的网络正常情况下的网络利用率的实际情况,想要得到网络中正常的网络利用率数据,必须对网络流量进行长时间的监控分析。
Max In:177.0 Mb/s(14.2%)Average In:79.7 Mb/s (6.4%)Current In:157.6 Mb/s (12.7%)Max Out: 97.7 Mb/s (7.9%)Average Out: 55.6 Mb/s(4.5%)Current Out:69.4 Mb/s (5.6%)`Weekly' Graph (30 Minute Average)Max In:184.6 Mb/s(14.8%)Average In:76.0 Mb/s (6.1%)Current In:136.9 Mb/s (11.0%)Max Out: 97.7 Mb/s (7.9%)Average Out: 52.3 Mb/s(4.2%)Current Out:61.3 Mb/s (4.9%)`Monthly' Graph (2 Hour Average)Max In:246.4 Mb/s(19.8%) Average In: 77.9 Mb/s (6.3%) Current In: 46.8 Mb/s (3.8%) Max Out:128.5 Mb/s(10.3%)Average Out:52.9 Mb/s (4.3%)Current Out:38.3 Mb/s (3.1%)Max In:156.6 Mb/s(12.6%)Average In:87.2 Mb/s (7.0%)Current In: 85.8 Mb/s (6.9%) Max Out: 88.9 Mb/s (7.1%) Average Out:45.9 Mb/s(3.7%)Current Out:57.0 Mb/s (4.6%)GREEN ### Incoming Traffic in Bits per Second BLUE ### Outgoing Traffic in Bits per Second DARK GREEN### Maximal 5 Minute Incoming Traffic MAGENTA### Maximal 5 Minute Outgoing Traffic图2上图是对一条网络主干链路的长时间流量的监控,我们可以看出,网络中每天的网络利用率以至每星期、每月、每年的网络利用率都是有规律的,网络越大,规律性越强。
如果网络利用率在某一天出现严重或长时间违背正常流量规律的现象,那么就叫做网络利用率异常,这个时候我们就需要对网络进行分析,来确定造成网络利用率异常的原因。
4. 如何监控网络利用率对网络利用率的监控是件非常容易的工作,大部分交换机、路由器都提供对网络实际流量参数的监控统计功能,你只需要通过RMON 工具把数据从网络设备中读取出来即可,大部分网管系统和网管工具都具备这种功能。
我们同样可以采用一些专用的网络流量分析仪器来对网络流量进行分析,对网络利用率的监控是这些分析设备最基本最普通的功能。
下面是Sniffer 对网络带宽利用率的实时监控界面。
图3Sniffer对网络带宽利用率在短期内(不超过一天)的历史抽样监控界面。
另外,Sniffer还有相应的报告产品,能对网络利用率进行长期的统计分析。
5. 案例分析5.1. 网络利用率异常导致网络丢包这是一个实际发生的网络利用率异常导致网络大量丢包的案例,用户的网络丢包现象很严重,给用户造成了很大的困扰。
5.1.1. 网络环境用户的网络是一个省级网络环境,包括局域网和广域网,并同全国的广域网络相连。