网络环境下的应用服务监管
综述
随着网络技术的快速发展，网络提供的服务越来越多。

从最初的简单互联实现信息传递，至如今Email，FTP远程传输，Telnet远程登陆等基于网络而衍生的各种服务广泛的应用，在丰富便捷生活的同时，也产生了相应的问题:
(1)网络用户对网络QOS的需求无法得到满足;
网络诞生至今，人们一直围绕网络的性能进行研究，在近20年内，有了极大的改善，但依旧无法满足人们的需求。

一方面是由于网络物理介质本身的限制，另一方面则是由于服务之间争夺资源的原因，如Peer to Peer的使用，尽管其为我们带来了更加快捷，有效地资源共享，但其在网络传输中占用了大量的带宽，使其他服务可能无法正常运行(2)网络安全问题日益突出;
网络融入人们的政治，经济后，产生巨大效益的同时，与之伴随的安全问题日益严重，银行账户的安全，军事机密，商业秘密等成了不法分子攫取利益的手段之一。

在保障自身数据安全的同时，服务自身的安全性也是一个重要的问题。

(3)Internet 为人们提供了各种服务，内容繁杂，管理愈难
网络融入生活后，网络上的服务呈爆炸性增长，但与此同时，其管理难度也在逐渐增大。

随着网络技术的不断发展，各种新的应用层出不穷，但由于缺乏有效的技术手段，对很多新的应用不能感知和精细化的管理，导致网络运营非常困难。

比如P2P 应用对网络资源进行“恶意的”占用、非法VOIP 的运营、地址盗用、帐号盗用、帐户分时使用、私接用户以及黑网吧NAT 上网等非法使用网络现在很难得到解决。

当今网络上存在的黄赌毒等内容服务，等扰乱规则的服务无法得到有效的监管。

不仅如此，服务的实现，提供的方式也在不断变化，已经从传统的实体单一功能的服务发展成组合式服务，云服务等虚拟化的服务，其实现方式的多样化
本篇文章针对网络的应用服务进行研究，对各种应用服务进行精确识别，以求解决网络带宽急剧消耗，网络蠕虫急剧肆虐，非法内容泛滥为目标，主要研究内容包括：
(1)针对应用服务的管理，提出一种应用服务的发现机制，在服务识别的同时，利用对数据
包协议分析及流量分析，获取网络用户的服务类型，服务状态，甚至用户的行为模型，从而分析网络服务分布及用户行为行为模式。

(2)对感兴趣的服务进行监测，且进行更加细致的业务类型划分，按照服务状态等信息，按
照一定的管理规约进行有效监管；
(3)对网络上提供的服务进行更加有效的资源分配，尽最大努力满足客户的需求以及各服务
的正常运行，如在用户使用语音服务时，提供给用户低时延的带宽，当用户需要进行特殊业务时，为用户提供更佳安全的通信链路。

研究意义
网络服务日益精细化、个性化，要为用户提供更加优质的服务，唯有对网络上的业务进行细致的分析分类，针对不同的业务进行不同的处理，才能满足用户需求。

(1)助于对网络的管理和利用。

通过对服务的发现，定位服务、分析建立服务分布图，精确
服务类别，可以改善网络性能。

(2)一方面为网络用户提供便捷的服务功能导向，可以使有益的服务被大众所知，被大众应
用，提高服务的利用率对已经发现的服务进行功能分析，方便用户的同时，对于性能不
好的服务可以通知客户，提高效率，优胜劣汰；对于恶意服务进行限制，在应用的最源端拒绝恶意内容，抑制网络中存在的垃圾流量，净化网络。

(3)可以实行差异化服务。

对网络服务进行监控，合理调度网络资源的使用，对于特殊情况
或优先级较高的服务给予优先使用资源，对普通服务的资源使用合理安排，完善网络的性能管理
(4)可以带来可观的经济收益，通过了解了网络服务的分布与各种应用服务的使用状况，从
而推断网络业务的发展趋势。

网络服务提供者可以收集到大量重要的信息，了解用户的最新需求和潜在需求，从而提供更能迎合用户需求的对口的网络服务，可以制定新的服务业务。

企业和家庭也可以利用业务识别技术，对自己的网络进行定制。

(5)对服务位置，特性，功能的定位，发现，识别不但有助于网络的管理，同样对于面向SOA
的服务组合有一定帮助。

在对服务进行调用细节分析后，可以根据服务组合的理论，将几个可以相互组合的服务进行调度，复合，形成新的服务，即节省了软件资源，有提高了服务的利用率。

应用服务发现
现今的互联网提供了许多服务应用，如WEB业务，电子邮件业务，FTP业务，语音类业务，视频类业务，即时通讯业务等，此外还有新兴的基于SOA概念的服务复合类业务，云服务业务等。

服务繁多，难于管理，对未注册的服务无法获知信息。

服务发现是指在网络环境中运行的各种服务，其中一些被大众所知，一些被少部分人所了解的情况下，通过技术手段对网络的运行状态，网络中传输的数据进行分析，定位正在运行的服务，并确定其功能性，以此来完善网络的管理，提高服务的全面应用。

服务发现主要分成两部分，一是数据采集，二是数据分析
方法：
(1)通过流量分析：对流经网络的数据进行深度数据分析，按应用层的协议进行初步区分，然后对目标IP地址
数据采集
数据分析
数据分析是指对采集数据按照一定的规则，模型分析数据内容。

本文中服务发现的目标是发现，识别，定位未知服务，因此在进行数据分析前，首先要将网络应用服务分类，根据《中国城市居民互联网研究报告》，可以将网络应用服务分为基础网络服务以及扩展网络服务，可细分为五类，即信息获取类，沟通交流类，休闲娱乐类，电子服务类，电子商务类
特征识别包括：基于特征的识别算法主要是分析各个不同的软件或协议独有的一些
协议特征，这些特征通常都是应用层协议头或负载中特定位置的特定字段，形
成特征专家库[3]
检测查询方式可以是：先检查主流特征，在接着查询辅流特征；
端口识别的方式
端口识别是最早的方式，其优点在于其速度快，但早期应用之所以广泛在于早期服务协议少，并且固定端口号，现今的应用层业务为了防止监测，逃避防火墙等使用动态端口，也有不同应用层协议使用同一个端口号，因此该方法在面对现今形式并不合适。

DPI（Deep Packet Inspection）
不同的应用通常会采用不同的协议，而各种协议都有其特殊的指纹，这些指纹可能是特
定的端口、特定的字符串或者特定的Bit 序列。

基于特征字的识别技术，正是通过识别数据报文中的指纹信息来确定业务所承载的应用。

通过对指纹信息的升级，基于特征字的识别技术可以方便的扩展到对新协议的检测。

特征字识别方式分为两类识别方式：(1)使用特征字与掩码相结合的协议识别(方法简便，效率，准确度不行，硬件实现);(2)使用正则表达式库的协议识别;正则表达式(Regular Expression)描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。

比如Bittorrent 协议的识别，是通过反向工程的方法对其对等协议进行分析。

对等协议由一个握手开始，后面是循环的消息流，每个消息的前面，都有一个数字来表示消息的长度。

在其握手过程中，首先是先发送19，跟着是字符串“BitTorrent protocol”。

那么“19BitTorrent Protocol”就是Bittorrent 的“特征字”。

应用层网关识别技术有些业务的控制流和业务流是分离的，业务流没有任何特征。

这种情况下，就需要采用应用层网关识别技术。

应用层网关首先识别出控制流，并根据控制流的协议通过特定的应用层网关对业务流进行解析，从而识别出相应的业务流。

对于每一个协议，需要有不同的应用层网关对其进行分析。

行为模式识别技术行为模式识别技术基于对终端已经实施的行为的分析，判断出用户正在进行的动作或者即将实施的动作。

通常用于无法根据协议判断的业务的识别。

比如SPAM（垃圾邮件）业务流和普通的Email 业务流从Email 的内容上看是完全一致的，只有通过对用户行为的分析，才能够准确的识别出SPAM 业务。

可以通过构建包含一下参数的行为模型来进行识别：发送邮件的速率
目的邮件地址数目、变化频率
源邮件地址数目、变化频率
邮件被拒绝的频率
检索论文：高效深度报文检测的研究与实现国防科大
面向入侵检测系统的通用应用层协议识别技术研究
应用层协议识别算法综述
基于内容分析的协议识别研究
一种面向移动互联网的业务识别方法研究
协议行为审计关键技术研究与实现
应用层协议识别算法综述
聚类分析
文献[2]中指出: 聚类是将数据划分成群组的过程。

通过确定数据之间在预先制定的属性上的相似性来完成聚类任务，这样最相似的数据就聚集成簇。

聚类与分类的不同点:聚类的类别取决于数据本身;而分类的类别是由数据分析人员预先定义好的。

聚类算法的分类:一般可分为基于层次的，基于划分的，基于密度的，基于网格的和基于模型的五种。

协议关联分析
DPI与DFI
应用服务监控
应用服务管理
系统实现
引文
[1]孟磊磊，硕士论文，基于行为特征的P2P应用识别方法的研究，4，2011。

[2]胡庆林，叶念渝，朱明富数据挖掘中聚类算法的综述《计算机工程》2007。

[3]朱洪亮面向业务感知的流量监控技术研究博士论文。