第6章 入侵检测系统评估
实际上IDS的实现总是在检测率和虚报率之间徘徊，检测 率高了，虚报率就会提高；同样,虚报率降低了，检测率也就 会降低。一般地，IDS产品会在两者中取一个折中，并且能够 进行调整，以适应不同的网络环境。美国的林肯实验室用接收 器特性(Receiver Operating Characteristic,ROC)曲线来描述 IDS的性能。该曲线准确刻画了IDS的检测率与虚报率之间的 变化关系。ROC广泛用于输入不确定的系统的评估。根据一个 IDS在不同的条件(在允许范围内变化的阈值，例如异常检测系 统的报警门限等参数)下的虚报率和检测率，分别把虚报率和 检测率作为横坐标和纵坐标，就可做出对应于该IDS的ROC曲 线。ROC曲线与IDS的检测门限具有对应的关系。
第6章 入侵检测系统ቤተ መጻሕፍቲ ባይዱ估
在现实中，虚报不会引起什么危害，因为事件本身是一个正常 的事件。虚报的坏处可能就是浪费了安全管理员的一些阅读和检查 的时间；而漏报则是一个很严重的错误。实际上，漏报就等于入侵
通常来讲，如果一个系统的虚报越多，它的漏报就越少。反过 来，如果虚报越少，漏报则可能会越多。这是因为，虚报越多表示 入侵检测系统对事件的警觉程度越高，这样，它忽略入侵的事件造 成漏报的可能性就越小。从检测技术的角度来看，入侵检测系统对 事件的警觉程度越高意味着检测算法对入侵事件的约束条件越紧； 如果虚报越少，表示入侵检测系统对事件的警觉程度越低，这样， 它忽略入侵事件的可能性就越大，也就是说，入侵检测系统对事件 的警觉程度越低，意味着检测算法对入侵事件的约束条件越宽松。 所以，误用检测技术所造成的虚报并不高，但很可能会漏掉一些入 侵事件，特别是新的入侵类型。
P(A/I)
P(I)P(A/I)
P(I)P(A/I)P(I)P(A/I)
P(I)(1P(A/I))
P(I)(1P(A/I)P(I)(1P(A/I)
（6.2）
第6章 入侵检测系统评估
在实际应用过程中，检测率的好坏是由IDS的两个部分 决定的。一是IDS的抓包能力，二是IDS的检测引擎。为了 达到100％的检测率，IDS首先要把需要的数据包全部抓上 来，送给检测引擎。在网络流量相同的情况下，数据包越小， 数据包的个数就越多，IDS的抓包引擎是对数据包一个一个 进行处理的，因此数据包越小，抓包引擎能处理的网络流量 就越小。相比之下，数据包的大小对IDS检测引擎的影响程 度较小，因为虽然检测引擎对每个数据包都要解析数据包头， 但它同样要检测每个数据包的内容，总量是一样的，因此数 据包的大小对检测引擎基本没有影响。
第6章 入侵检测系统评估 图6.1 ROC曲线
第6章 入侵检测系统评估
在测试评估IDS的具体实施过程中，除了要IDS的检测率和虚报率之 外，往往还会单独考虑与这两个指标密切相关的一些因素，比如能检测 的入侵特征数量、IP碎片重组能力、TCP流重组能力。显然，能检测的 入侵特征数量越多，检测率也就越高。此外，由于攻击者为了加大检测 的难度甚至绕过IDS的检测，常常会发送一些特别设计的分组。为了提 高IDS的检测率，降低IDS的虚报率，IDS常常需要采取一些相应的措施， 比如IP碎片能力、TCP流重组。由于分析单个的数据分组会导致许多误 报和漏报，所以IP碎片的重组可以提高检测的精确度。IP碎片重组的评 测标准有三个性能参数:能重组的最大IP分片数、能同时重组的IP分组数、 能进行重组的最大IP数据分组的长度。TCP流重组是为了对完整的网络 对话进行分析，它是网络IDS对应用层进行分析的基础，如检查邮件内 容和附件、检查FTP传输的数据、禁止访问有害网站、判断非法HTTP 请求等。这些因素都会直接影响IDS的检测可信度。
第6章 入侵检测系统评估
6.1.2 抗攻击能力 和其它系统一样，IDS本身也往往存在安全漏洞。若对IDS攻
击成功，则直接导致其报警失灵，入侵者在其后所作的行为将无 法被记录，因此IDS首先必须保证自己的安全性。IDS本身的抗攻 击能力也就是IDS的可靠性，用于衡量IDS对那些经过特别设计直 接以IDS为攻击目标的攻击的抵抗能力。它主要体现在两个方面： 一是程序本身在各种网络环境下能够正常工作；二是程序各个模 块之间的通信能够不被破坏，不可仿冒，此外要特别考虑抵御拒 绝服务攻击的能力。如果IDS本身不能正常运行，也就失去了它 的保护意义。而如果系统各模块间的通信遭到破坏，那系统的报 警之类的检测结果也就值得怀疑，应该有一个良好的通信机制保 证模块间通信的安全并能在出问题时能够迅速恢复。
第6章 入侵检测系统评估
2.ROC曲线 ROC曲线以图形方式来表示正确报告率和误报率的关 系。ROC曲线是基于正确报告率和误报率的关系来描述的。 这样的图称为诺模图（Nomo－gram），它在数学领域用于 表示数字化的关系。选好一个临界点（CutoffPoint）之后， 就可以从图中确定IDS的正确报告率和误报率。曲线的形状 直接反映了IDS产品的准确性和总体品质。如果一条直线向 上，然后向右方以45°角延伸，就是一个非常失败的IDS， 它毫无用处；相反，ROC曲线下方的区域越大，IDS的准确 率越高。如图6.1所示，IDSB的准确性高于IDSC，类似地， IDSA在所有的IDS中具有最高的准确性。
入侵检测系统评估
第6章 入侵检测系统评估
第6章 入侵检测系统评估
第6章 入侵检测系统评估
第6章 入侵检测系统评估
第6章 入侵检测系统评估 在实际应用中，主要关注的是一个入侵检测系统的报警
结果能否正确地反映目标系统的安全状态。下面的两个参数
P(A/I)给出了检测系统报警信息的可信度，即检测系统
P( A/ I)给出了检测系统未发出报警信息的可信度，
为使入侵检测系统更有效，系统的这两个参数的值越大 越好。根据贝叶斯定理可以得出这两个参数的计算公式：
P (A /I)
P (I)P (A /I)
P (1 )P (A /I)P ( I)P (A / I)
（6.1）
第6章 入侵检测系统评估 同理：
第6章 入侵检测系统评估
数据包抓上来之后，需要经过检测引擎的检测才能引发 告警。在检测引擎的处理过程中，数据包的各种因素都会影 响检测引擎的效率。不同的IDS产品因为其检测引擎中对数 据包的处理有侧重点，因此不同内容的背景数据流会严重影 响产品的检测率。当通过不同内容的背景数据流，可以判断 出IDS检测引擎在某些方面的优劣。数据包中的数据内容也 很关键，如果背景数据流中包含大量敏感的关键字，能引发 一种IDS产品告警，而对另一种IDS产品可能并不引发告警， 这样的数据包内容就影响了引擎的效率。即使在不引发告警 的条件下，背景数据流的数据内容也对检测引擎影响很大。