开题报告通信工程网络流量应用层特征分析与提取一、课题研究意义及现状意义：随着P2P技术的发展，P2P流量已经占据了整个互联网流量的60~90%，逐渐成为其重要组成部分。
P2P应用的不断增加，其抢占带宽的特点造成了网络带宽的巨大消耗，甚至引起网络拥塞，对其他应用的服务质量造成了威胁，损害了ISP的利益。
另一方面，P2P环境下文件共享的方便和选路机制的快速，为网络病毒和不健康信息等也提供了更好的入侵机会。
因此，实现P2P流量的准确识别对于有效管理网络和合理利用网络资源都具有重要意义。
现状：就目前国内外研究现状而言，主要可分为基于人工经验和基于机器学习的P2P流量识别方法。
目前，基于人工经验的P2P流量识别方法主要可分为三类：第一类基于端口的识别方法，由于P2P技术采用端口跳跃、随机端口等方式来逃避检测，该方法对于大部分P2P应用已不再有效；第二类基于应用层数据的识别方法，通过提取应用层数据，分析其载荷所包含的协议特征值，来判断网络流量是否属于P2P，该方法准确性高，但可扩展性差且缺乏加密数据识别功能，同时也无法识别新出现的和未知的P2P应用；第三类基于流量特征的识别方法，该方法通过对传输层数据包进行分析并结合P2P网络所表现出来的流量特征，来识别P2P流量。
研究采用基于应用层签名的识别方法, 分析和识别PPstream、PPlive、QQlive、UUsee 和SopCast 五个主流的P2P 流媒体应用平台中第三阶段media chunk数据传输部分的流量。
基于应用层签名识别方法的关键是签名特征的提取。
选择签名特征的原则是:在数据传输过程中必定会出现且具有稳定形态, 优先选择会重复出现的特征字符串, 同时考虑对识别精度和识别效率的影响,要求特征字符串长度应适中。
目前获得应用层签名特征的方法主要有基于相关的开发文档和基于报文TRACE的数据分析这两种方法。
目前主流P2P 流媒体平台的通信协议均为私有协议, 并不能获取相关的开发文档,无法采用基于开发文档的方法来获取签名特征。
因此常采用基于报文TRACE 的数据分析方法来获得主流P2P流媒体平台的应用层签名特征。
我们在这里采用的是etherpeek抓包工具用监听统计和捕获数据包两种方式进行网络分析。
二、课题研究的主要内容和预期目标本课题主要完成的工作：（1）阅读网络流量识别相关文献，跟踪国外内相关研究，了解研究现状；（2）在Windows下实现网络数据包的捕获，分析并显示捕获到的数据包信息；（3）分析各类网络协议，尤其是P2P协议的流量特征；（4）提取各类网络流量的特征，建立应用层流量特征库；（5）评估所提取的网络流量特征的准确性与唯一性。
预期目标：课题预计能够完成网络流量的抓包、分流、P2P流量的识别、以及网络流量特征的准确性与唯一性评估。
成果形式为程序代码与毕业论文。
三、课题研究的方法及措施1 分析各类网络应用的应用层协议每个应用层协议都是为了解决某一类应用问题，而问题的解决又往往是通过位于不同主机中的多个应用进程之间的通信和协同工作来完成的。
应用层的具体内容就是规定应用进程在通信时所遵循的协议。
应用层的许多协议都是基于客户服务器方式。
客户(client)和服务器(server)都是指通信中所涉及的两个应用进程。
客户服务器方式所描述的是进程之间服务和被服务的关系。
客户是服务请求方，服务器是服务提供方。
分析各类应用层协议如：SMTP, HTTP, TELNET, FTP,BT。
2．分析数据包的应用层净荷特征，主要采用抓包工具抓包分析。
图1 HTTP数据包的EtherPeek解析图本课题研究采用的抓包工具是etherpeek NX。
依靠etherpeek 抓包工具获取数据包信息。
启动EtherPeek ，"File"->"New"->弹出的"Capture Option"对话框，在左侧列表框中选择"Filters"->在右侧列表框选择自己需要的"Filter"（例如TCP,在这里可以通过右键菜单"Insert"新建一个自定义的过滤器）->点击"确定"，弹出数据包列表框->点击"Start Capture"即开始数据包的捕获，当有符合过滤规则的数据包被捕获到后就会在列表框中显示出来。
在数据包列表框中双击某一数据包，将打开该数据包的详细结构图，从以太头到应用层数据都被很清晰地分析出来，这对于学习和分析各种数据包的结构是非常有用的(如图1所示)。
大多数协议在净荷中含有一个协议特定字符串用于区分不同协议，这些字符串通常是公开的或易于得到的，通过检测和匹配这一字符串可以实现流量的识别。
所以分析数据包的应用层净荷特征是实现P2P应用及各协议流量识别的关键。
3. 提取应用层特征标签，建立应用层流量特征库不同应用类型的流量在某些流行为属性上有差异，这些属性成为特征（如IP地址，端口号，包长度，到达时间等），将每次提取的应用层特征收集并建立一个流量特征库。
(如图2所示)。
协议特征串HTTP HTTP/.GETMSN MSG、NLN、PNG\r\n、OUT、QNG、VER、MSNPBT BitTorrentFTP ACCT、CWD、CDUP\r\n、SMNT、REIN\r\n、PORTSMTP HELO、EHLO、MAIL、FROM、RCPT TO:、VRFY、EXPN、POP3 -OK、-ERR、APOP、TOP、UIDLSIP REGISTER、INVTTE、ACK、BYE、CANCEL、SIPcMulc 开头第一个字节：0x03 or 0xc5 or 0xd4QICQ 开头第一个字节：0x02、第四、五字节：协议号图2 九类协议的特征串4.数据包与特征库匹配识别流量在设定的一段时间内，将具备相同5元信息{源(IP地址，端口号)，目的（IP地址，端口号），协议类型(TCP/UDP)}的数据包定义为一个流。
以这样的流为单位进行应用层特征匹配，并将匹配结果连同5元信息存入相应的流结构体中，每到达一个数据包，则在内查找该数据包所属的流结构是否已有特征匹配结果。
若没有，则将该数据包的应用层数据与特征库中的所有特征进行匹配。
整个过程如图3：图3 整体框架图5.存在的难点最大的困难应该是网络上的应用程序太多，而且不少应用的流特征又十分相似，很难确定提取的特征是否准确和唯一，有效特征的提取很难。
另个对于应用层加密的流量提取应用层特征几乎不可能。
四、课题研究进度计划2010-2011第一学期：第2－6周：指导教师介绍网络相关技术，学生学习并熟悉相关的通信网络基本知识与专业技术，师生讨论确定毕业设计课题。
第7－8周：指导教师介绍文献检索和阅读方法，介绍抓包工具和外文翻译方法。
学生作好相关文献阅读的资料笔记和文献摘要，理解并简单描述各种识别方法，初步形成识别方案；熟悉一个抓包工具，深入理解TCP/IP协议。
第9－11周：指导教师介绍文献综述写作方法，指导学生开题。
学生根据上一阶段的文献资料查找和阅读，完成2000字的文献综述，完成一篇相关英文文献资料的翻译；形成设计方案，书写开题报告及PPT，准备开题答辩。
第12－15周：指导教师对学生进行指导及解惑，并进行过程管理监督。
学生设计并实现在Windows下网络数据包的捕获，分析并显示捕获到的数据包信息。
第16－20周：指导教师对学生进行指导及解惑，讨论并辅导算法设计，并进行过程管理监督。
学生设计并实现识别方案和识别算法，并评估识别性能，完成软件设计。
2010-2011第二学期：第1－3周：指导教师介绍毕业论文写作方法与写作要求，指导学生毕业论文的书写。
学生根据文献综述、流量识别方案与算法和软件设计、实现及测试结果，书写毕业论文初稿。
第4－5周：指导教师审查并提出修改完善建议。
学生按要求修改论文及软件成果。
第6－8周：学生上交设计成果与论文打印稿，送交指导教师与评阅老师评审。
同时做好答辩PPT讲稿，做好答辩准备。
第9－11周：毕业答辩以及答辩结束后的成绩评定与总结。
学生提交所有相关材料。
五、参考文献[1] Standaert et al.Efficient Implementation of Rijndael Encryption in Recinfigurable Hardware Improvements and Design Tradeoffs[C].In: CHES 2003.LNCS 2779.2003:3 34~350.[2] 刘佳熊.基于DPI和DFI的对等网络流量识别技术. [硕士学位论文]:燕山大学,电子系,2010,5.[3] 米淑云.IP网络流量监控系统的研究与实现.[硕士学问论文]:北京邮电大学,2008,8.[4] 张晓辉.对等网络（P2P）网络通信原理.人民邮电出版社,2007:124~159[5] 邢小良.流量检测技术及其应用.人民邮电出版社,2007:77~95[6] 陈亮,龚俭,徐选.基于特征串的应用层协议识别[J],计算机工程与应用2006,vol.24:1008~8831.[7] 徐周李,基于应用层签名特征的P2P流媒体流量识别技术研究.国防科学技术大学,2008.11.[8] 张娜.基于正则表达式的深度包检测研究.[硕士学位论文]:华东师范大学,2007.1.[9] 曹香港.应用L7-filter实现对P2P流的控制.电脑编程技巧与维护,2009.7.[10] 陈献庆.应用层协议过滤系统设计与实现.[硕士学位论文呢]:电子科技大学,2007.6.[11] 周德荣.基于Linux的高性能网络数据捕获技术研究[J].西南民族大学学报（自然科学版）,2009,35(6):1281~1284.[12] 曾树洪.Netfilter防火墙下L7-filter模块的研究和应用.微计算机信息.2010.。