检测不出入侵情况 （1，1）点则表示检测系统的报警门限为0时， 检测系统把被监控系统的所有行为都视为入侵活 动的情况。 （0，1）点则代表了一个完美的检测系统，能 在没有虚警的情况下，检测出所有的入侵活动， 这是理想的情况。
15
第7章入侵检测系统的标准与评估
100% 检测率
A B C
0
虚警率
11
第7章入侵检测系统的标准与评估

7.3 入侵检测系统的性能指标

影响入侵检测系统性能的参数

先验概率P(I)可利用实验环境和实际环境得到。 因为入侵行为出现的概率一般很小，即 P ( I ) P (I ) P ( I ) P ( I ) 1

所以P(I |A) 的值主要取决于虚警率的影响。假 定某一时间段内受到入侵攻击的概率 P(I)=0.00001，图中给出了检测系统的报警信息 可信度与系统检测虚警率、检测率之间的关系。
评 估 网 络
IDS
攻击网络 通信流
Rome实验室的IDS测试环境
23
第7章入侵检测系统的标准与评估

7.6 测试环境和测试软件

为了较好地测试IDS，针对不同的测试目标，一 般构建专用的网络环境，下图是测试IDS功能的 网络配置图
路由器
攻击者 路由器
网络负载产生器
攻击目标
IDS探测器
IDS管理中心

评价检测算法性能的测度
通常可以用检测率随虚警率的变化曲线来评价检 测系统的性能 ，这个曲线称为接收器特性(ROCReceiver Operation Characteristic)曲线。 下图对应着采用不同检测算法的入侵检测系统A、 B、C，所做的ROC曲线簇。


A代表最坏情况，相当于对入侵行为没有识别能
入侵检测技术分析
第13讲
北京信息科技大学
刘凯 liukai@
0
入侵检测技术分析
第七章
入侵检测系统的评估
1
课程安排
入侵检测概述 入侵方法及手段 入侵检测系统 入侵检测流程 基于主机的入侵检测技术 基于网络的入侵检测技术 入侵检测系统的标准与评估 Snort 分析 入侵检测技术的发展趋势
系统活动记录未能为IDS提供足够的信息用来检 测入侵 入侵签名数据库中没有某种入侵攻击签名 模式匹配算法不能从系统活动记录中识别出入 侵签名


异常检测模块失效的原因如下：

异常阈值定义不合适 用户轮廓模板不足以描述用户的行为 异常检测算法设计错误。
19
第7章入侵检测系统的标准与评估

2学时 3学时 3学时 6学时 4学时 4学时 4学时 4学时 2学时 共32学时2
教材及参考书
《入侵检测技术》曹元大 人民邮电出版社 《入侵检测技术》薛静锋等 机械工业出版社 《Snort 2.0 入侵检测》Brian Caswell等著 宋劲松 等著 国防工业出版社 《入侵检测实用手册》Paul E. Proctor 中国电力 出版社 /

根据贝叶斯定理给出这二个参数的计算公式：
P(I )P( A / I ) P ( I | A) P ( I ) P ( A | I ) P (I ) P ( A | I )
P (I ) P (A | I ) P (I | A) P (I ) P (A | I ) P ( I ) P (A | I )


测试配置 测试要求
集成
送交受测系统 报告结果 30
小结

影响入侵检测系统的性能参数是什么 用ROC曲线来表示不同检测系统性能 测试评估的内容 入侵检测的评估方案
● —— 重要知识点
31
思考题
1 .入侵检测系统的报警可信度与虚警率、检测 率之间的关系是什么？ 2、评价入侵检测系统性能的3个因素是什么？ 分别表示什么含义？

7
第7章入侵检测系统的标准与评估

7.3 入侵检测系统的性能指标

影响入侵检测系统性能的参数
在异常检测和误用检测中都会产生误报。误报包括 虚警(False Positive)和漏警(False Negative)。 在异常检测中，由于不能保证入侵活动与异常活动 完全相符，因此会出现是异常却非入侵的情况或者 出现入侵却非异常的情况，前者会产生虚警，后者 会产生漏警。 在误用检测中，由于可能出现入侵特征定义的不准 确和不全面，因此会出现将正常模式当成入侵模式 的情况或者出现不能识别入侵模式的情况，前者会 产生虚警，后者会产生漏警。

8
第7章入侵检测系统的标准与评估

7.3 入侵检测系统的性能指标

影响入侵检测系统性能的参数
入侵检测可以看作一个简单的二值假设检验问题。 为便于分析,给出相关定义和符号。 假设I和﹁I分别表示入侵行为和目标系统的正常 行为，A表示检测系统发出警报，﹁A表示检测系统 没有警报。

检测率：指目标系统受到入侵攻击时，检测系统 能够正确报警的概率，可表示为P（A|I）。 虚警率：检测系统在检测时出现虚警的概率，用 P(A|﹁I)表示。 漏检率：检测系统在检测时出现漏警的概率，用 P(﹁A|I)表示。 9
是否即插即用 所支持的软件平台 与其它安全工具的集成是否容易 IDS运行需要的网络拓扑结构 支持的管理方式 管理协议 支持的网络协议 产品是否开放源代码

27
第7章入侵检测系统的标准与评估

7.7 用户评估标准

用户评估IDS涉及多种因素

4、IDS报告和审计 5、IDS检测与响应

7.5 测试评估内容

性能测试：在各种不同环境下，检验IDS的承受 强度，主要指标如下：
IDS引擎的吞吐量
包的重装 过滤的效率

产品可用性测试



评估系统用户界面的可用性、完整性和扩充性 跨平台能力 易用性 稳定性
21
第7章入侵检测系统的标准与评估

7.6 测试环境和测试软件

P( I |A)给出了检测系统报警信息的可信度，即 检测系统报警时，目标系统正受到入侵攻击的概率。 P(﹁ I |﹁A)则给出了检测系统没有报警时，目 标系处于安全状态的可信度。 我们期望系统的这两个参数的值越大越好。

10
第7章入侵检测系统的标准与评估

7.3 入侵检测系统的性能指标

影响入侵检测系统性能的参数
32
技术报告
请谈谈入侵检测技术分析这门课程的每一个章 节的主要内容? 你了解和掌握了哪些知识? 还有 哪些知识没有掌握? 为什么没有掌握? 还缺少 哪些基础知识? 最后请结合实际说明你对入侵 检测系统某些方面的理解和认识.(比如在需求方 面、在重要性方面、与其它安全机制的差异性 方面、未来的发展方向方面、架构方面、检测 机制方面、安全性方面、测试评估方面等等）。 注：若有参考文献，请按标准格式列在后面。
数据内容Байду номын сангаас别能力
抗攻击能力 冗错能力 检测精度和范围大小 通过何种方式报警


6、安全管理 7、产品安装和服务支持
28
第7章入侵检测系统的标准与评估

7.8 入侵检测评估方案

离线评估方案：DARPA与美国空军研究实验室联合发起的、 由林肯实验室主持进行一年一度的评估活动。


Lincoln实验室设计了一个离线的网络IDS测试环 境，如图所示。
监听数 据 IDS 审计数 据
检 测 结 果
ROC曲 线分析
Lincoln实验室的IDS测试环境
22
第7章入侵检测系统的标准与评估

7.6 测试环境和测试软件

Rome实验室设计了一个实时的网络环境来作评 测IDS。如图所示.
正常网络 通信流

6
第7章入侵检测系统的标准与评估

7.3 入侵检测系统的性能指标

影响入侵检测系统性能的参数
有效性: 研究检测机制的检测精度和系统报警 的可信度 效率: 从检测机制的处理数据的速度以及经济 性的角度来考虑

本节从有效性的角度对检测系统的检测性能及 影响性能的参数进行分析讨论. 下面利用贝叶斯理论来分析基于异常检测的入 侵检测系统的检测率、虚警率与报警可信度之 间的关系。

17
第7章入侵检测系统的标准与评估

7.4 网络入侵检测系统测试评估

一般情况下，IDS测试环境的组成有测试平台控 制器、正常合法使用用户、攻击者、服务器和 IDS系统。如图所示。
IDS测试环境组成示意图
18
第7章入侵检测系统的标准与评估

7.5 测试评估内容

误用检测失效的原因有以下3个方面：

7.5 测试评估内容

IDS的评估涉及入侵识别能力、资源使用状况、 强力测试反应等几个主要问题。下面就IDS的功 能、性能及产品可用性3个方面做进一步讨论：

功能性测试：能反映出IDS的攻击检测、报告、 审记、报警等能力

攻击识别 抗攻击性 过滤 报警 日志 报告
20
第7章入侵检测系统的标准与评估

3
上一讲回顾

入侵检测标准化工作

CIDF IDMEF

入侵检测系统的设计考虑
4
第7章入侵检测系统的标准与评估
入侵检测的标准化工作 入侵检测设计方面的考虑 评价入侵检测系统性能的标准 网络入侵检测系统测试评估 测试评估的内容 测试环境和测试软件 用户评估标准 入侵检测评估方案