异常流量检测要点
异常(否)
特 征 DoS/DDoS 如 :Smurf 等
特 征 蠕 虫 如 : SQL Slammer 等
私 有 IP , 协 议 异 常 等
自 定 义 异 常 行 为 检 测
及 未 知
行 为
行 为 如
等
中未 未知 定 义 的 蠕行 虫为 行, 为包 括 模 板 库 WORM
及恶 主意 机扫 扫描 描行 为 , 包 括 网 络 扫 描
知
异常特征 学习
行 行为 为如 :TCP Flodd 等 及 未
定未 义知 的 蠕 虫 行行 为为 , 包 括 模 板 库 中 未 WORM
扫恶 描意 扫 描 行 为 , 包 括 网 络 扫 描 及 主 机
基于目标IP的session 缓存统计(5秒Buffer) 基于源IP的session 缓存统计(5秒Buffer) 基于源IP + 目标端口的 session缓存统计 (5秒Buffer)
提纲
系统总体方案 系统功能及特色 系统软硬件部署 项目实施及售后服务 实际案例介绍 技术澄清&应答
方案 特 点--系统总体特点
纯B/S架构
客户端无须安装任何插件,只需有浏览器即可访问系统,真正做到了 随时、随地访问业务系统。
人性化设计
系统主动适应用户操作习惯,如:数据的组织呈现方式等功能,完全 仿造windows操作。
(3)
采用DFI(深度流检测)技术实现全网异常行为(包括攻击行为,如 DoS/DDoS, 蠕虫等)监测及控制
DFI技术监测网络异常行为技术实现原理
异常行为监测流程 异常(是) DFI包头特征检测 (Pattern Signature) 特征扫描 异常(否) 流数据
sion行为 检测(基于统计分析)
基于DFI技术、DPI技术的安全及异常监测对比
传统的入侵检测方法分为两种:基于误用检测(misused-based)方法和基于异常检测。 (1) 基于误用检测方法需要攻击样本,通过描述每一种攻击的特殊模式来检测。该方法的查准率很高,并且可提供 详细的攻击类型和说明,是目前入侵检测商业产品中使用的主要方法。然而经过长时间的研究和应用,该方法 也暴露出一定的弱点,由于基于特征的入侵检测系统是依靠人为的预先设定报警规则来实现,所以在面对不断 变化的网络攻击时有其本身固有的缺陷,比如,利用这种方法时需要维护一个昂贵的攻击模式库、只能检测 已知的攻击等。另一方面,攻击者可以通过修改自己的攻击特征模式来隐藏自己的行为,而且有些攻击方法 根本没有特定的攻击模式。 (2) 基于异常检测方法主要针对解决误用检测方法所面临的问题。
方案 特 点—异常行为监测(NBA)
(1) 系统内置异常行为控制模块,能够跟行为特征中受影响设备最重要的设备联动,部署策略进行控制,目前 支持恶意扫描、网络蠕虫及病毒的控制及异常基准线行为的限速控制,对于DoS/DDoS类的攻击基于受影响 设备的异常行为拓扑关系,最大限度控制DoS/DDoS行为,保护用户自身网络,如果想彻底消除DoS/DDoS行 为的影响建议采用流量引流方案,因为引流对于DoS/DDoS效果最好 (2) 流量引流及清洗,系统支持与第三方设备整合,如思科Guard或华为SIG设备
这两类方法都存在如下问题: 可扩展性较差 (1) 由于现有的异常检测系统大多采用一种或几种单一的网络特征向量作为学习和判断的依据,对网络流量的异常描 述较为单薄; (2) 在入侵检测系统协同运行中网络特征向量选取得较少就可能会影响检测系统的可扩展性,基于会话的保存状态 信息的异常检测方法由于现有网络流量的不断变大将逐步受到限制。因而在DARPA1998年总结出的判断每一 个正常与异常TCP/IP连接的41个特征向量的实时使用就变得越来越难以实现。 DFI异常检测是基于将网络流量特征向量分层划分的思想实现的。 将流量特征分为两个层次:基本特征集合和组合特征集合。 其中基本特征集合是实时从网络流量中提取的一些网络流量的基本特征数据,比如流量的大小、包长的信息、协议 的信息、端口流量的信息、TCP标志位的信息等。这些基本特征比较详细地描述了网络流量的运行状态组合特征集 合是可以根据实际需要实时改变设置的。 针对某种特定的攻击行为,将涉及该攻击行为的基本特征的子集作为描述该种攻击行为的特征。比如对于SYN FLOOD攻击,组合特征就可以选取sessions/s、平均包长、SYN包的个数等信息。利用以往基本特征集合的数据 对该种攻击行为的特征进行学习和训练,就可以实时得到该攻击行为组合特征的正常和异常模型。 用此模型就可以实时地对网络上该种攻击行为进行检测。
与发流源网络设备互动 基于ACL、QoS等技术实现结合异常行为 攻击拓扑,在最有效点部署控制策略 及规则,实现正常流与异常流的分离及控制
通 过 限 速 、 阻 断 等 手 段 控 制
目 标 固 定 类 异 常 , 如
段意 源 控扫 制描 固 等定 通类 过异 限常 速, 、如 阻蠕 断虫 等、 手恶 IP
系统自维护成本低
基于被监控设备及网络的技术特点进行的数据探测技术与基于硬件探针技术进行的数 据探测技术相比,在系统自维护方面,成本几何数量降低是显而易见的。
方案 特 点—异常行为监测(NBA)
一体化安全防御异 监测及管控方法论
异常 行为 跟踪 全局 策略 管理
DFI
深粒度异常流 行为检测 异常 行为 监测 异常 行为 清洗 管控
流量、数据包、session 异常(否) 基准线检测 异常(是) 基准线异常
DoS/DDoS :TCP Flodd DoS/DDoS
异常行为特征汇聚及异常行为控制 异常明细数据记录(细化到会话数据),可以联动xSensor协议分析仪
DarkIP,
正常流
DFI技术监测网络异常行为-流包头扫描特征
此类检测的特点是逐流检测,计算量小,检测响应时间快,缺点是必须是已知异常行为: 如已知异常DoS/DDoS, 已知蠕虫病毒,其检测逻辑如下: 流数据
Web 浏览器
移动 客户机
WEB PORTAL
告警监视/故障定位
全网性能/KPI监控
全网异常行为监控
全网流量监控
方案 特 点– 数据探测特点
全网范围采集,无需附加探测硬件探针
方案采用的技术确保数据探测无需附加硬件探针,对于未来网络结构调整及增加设备 、扩容等无需附件额外的硬件探针成本
部署灵活
方案采用数据(流量数据、性能数据)探测技术,与用户网络特性无关,这与采用探针技 术的数据探测方式(需要紧密结合用户网络特性)不同,不需要用户考虑增加硬件探针的 部署点等,更有甚者,比如: 用户网络内部被外来系统基于技术渗透方式感染蠕虫,如 果内网任何角度没有部署探针或者由于用户网络结构调整、设备更新等造成探针没有 探测整个内网,就会导致安全监测漏洞,采用本方案的探测技术,无论网络如何变化 ,没有任何硬件成本附件即可进行全网任何位置进行安全监测,这样渗透进来的蠕虫 病毒将无处可藏。
系统功能结构
综合分析数据采集能力
方案特点: (1) 全网流量数据采集, 无需探针, 数据传输量微小 保守计算公式: 实际物理流量每 10 Gbps, 产生流的带宽小于 4 Mbps 10 Gbps 对应于: 2500 flow/second (1:500采样比) size=2500 * 200 * 8 = 4 Mbps (2) 全网性能数据采集,无需探针,性能数据传输量微小 保守计算公式: 500个拨测性能测量,数据传输量小于 50 Kbps
DoS/DDoS DoS/DDoS
DFI技术监测网络异常-异常行为跟踪
异常行为特征汇聚了: 源IP集合,目标IP集合、源端口集合、 目标端口集合、应用协议、TCP Flag 基于异常行为特征过于异常明细会话信 息 从异常行为特征中得到 异常开始时间 (检测时间与异常开始实际时间误差 特征扫描: 毫秒级 统计分析session行为: 5 - 10秒 基准线检测: 5 - 10分钟
基于行为特征,行为明细数据记录 粗粒度: 直接记录异常流会话数据
细粒度: 结合xSensor协议分析仪或第三方 DPI设备详细记录异常流过程数据包内容
否
根据实时异常行为的结束 时间判断是否结束异常明细 数据记录
是
记录结束
DFI技术监测网络异常-异常行为控制
异常行为特征汇聚了: 源IP集合,目标IP集合、源端口集合、 目标端口集合、应用协议、TCP Flag 产生控制策略 整合第三方清洗设备接口 思科Guard 华为清洗设备Eudmemon 其他防火墙、IDS/IPS等
IP DoS/DDoS
制基 准 线 类 异 常 通 过 限 速 方 式 控
基于DFI技术、DPI技术的安全及异常监测对比
与传统的基于数据包检测技术的异常检测(如: IDS/IPS)等对比而言,基于流的DFI检测异常行为技术,可以实现全 网范围内的异常检测,比较适合于运营商、大型网络的内网安全检测。 这两类技术在技术层面上是互相补充和互动的关系,他们之间的互补能更好地解决用户网络安全检测问题。 但是由于技术实现手段及原理的不同,现在针对DFI和DPI技术实现异常行为检测的不同点,概述如下: (1) DFI由于采用流数据技术的行为检测,很容易实现全网范围,尤其是内网范围的网络异常行为检测,DPI技术 主要基于数据包捕获技术进行解析数据包分析,这样在全网内部部署代价非常昂贵,且容易造成网络单点故障 的可能性。 (2) DPI技术采用基于会话的保存状态信息的异常检测方法由于现有网络流量的不断变大将逐步受到限制,并且网络 结构的调整对其检测和部署影响非常大,而DFI技术基于流数据并且基于流量特征向量的检测,网络结构及环 境的调整对其影响不大
DFI技术监测网络异常-网络行为统计分析
此类检测的特点是可以在全网范围内检测异常行为,主要是session异常,网络中发生的异常大多属于session级异常这类session级异 常是基于三类特征,即固定目标IP如DoS/DDoS, 固定源IP如恶意扫描, 固定源IP + 固定目标端口如蠕虫病毒,它是基准线session异 常的补充,因为基准线session异常在运营商及大型网络中很难发现,比如,用户骨干网上的一条40 Gbps链路中产生session的速率为: 10,000 sessions/second, 发生一个异常行为DoS/DDoS, session速率增加: 1000 sessions/second,这样的情况,基准线一般检测不到 (session速率的变化率为: 1%), 基于三类行为特征的检测可以检测这类异常,它是弥补基准线粗粒度检测的不足, 同时这种检测可以检 测网络中的未知DoS/DDoS, 未知蠕虫等。其检测逻辑如下: 网络边界定义 流数据 从属边界 (内网范围), 基于内网边界 基于TCP Flag过滤可疑 过滤流数据 流数据 边界范围外 其他检测 基于缓存数据检测session 速率是否达到探测器阈值 达到阈值 阈值验证 可疑流