形状 纹理 颜色
特征描述符
特征描述符距离计算
视频处理
• 场景一：视频监控中目标人物的身份鉴定
– 支 撑技术
� 基于视频图像的人脸识别技术 � 基本思想：对已知视频进行关键帧图像提取，并对模糊帧图像进行增强处理，然后检测 出人脸图像，并利用正面人脸合成技术对多视角人脸进行处理，最后针对特定的人脸特 征数据库进行人脸识别。
– 关 键帧提取技术
� 依据帧间图像的微观内容变化程度确定关键帧图像 “宁错勿少 ” � 遵从保守原则 从保守原则“ 宁错勿少” � 帧平均法、直方图平均法、基于运动信息的光流分析法等 � 结合语义信息，防止关键目标信息帧的丢失，比如人脸检测技术
视频处理
• 模糊视频图像增强技术
– 视 频图像模糊成因
• 索引数据流传输
– 针对编码封装之后的视频数据 提取视频帧中的关键信息建立 索引库，视频检索在索引库上 进行
结构化信息 索引库
箭头粗细代表数 流大小
视频传输
• 多样化的传输方式
网线 光纤 同轴电缆 双绞线 无线
IP 有线接入
网线 双绞线 光纤
内置3G模块
同轴电缆
网络视频监控系统 模拟有线接入
3G 网关
调研汇报 视频监控中人脸识别相关技术 调研报告
年10 月29 日 2014 2014年 10月 29日
调研汇报
汇报内容
一、 视频侦查面临问题 二、 视频采集 三、 视频传输 四、 视频存储 五、 视频处理 六、 技术趋势 七、 总结
视频侦查面临问题
� 大海捞针
� 费时费力 � 人为遗漏
� 智能分析 � 提高效率 � 节约人力
– 关 键帧
� 最具有代表性的单幅帧图像或者帧图像序列 � 概括描述了镜头的主要内容 � 消除冗余比
视频处理
• 视频关键帧提取技术
– 视 频分析基础
� 镜头分割与关键帧提取技术是视频索引、检索以及视频分析工作的基础 � 基于非压缩全图像序列、基于压缩域的视频分析方法
– 镜 头分割技术
� 镜头分割是指根据视频宏观内容变化率对视频单元进行准确有效的边界划分 � 突变镜头与渐变镜头，突变镜头分割技术较为成熟 � 模板匹配法、全局直方图比较法、运动矢量法等
人脸检测与跟踪 目标人脸图像 图像增强 关键帧提取 视频流
– 视频搜索现状
� 实时性：海量存储机制、服务器性能 1000 像素的目标，搜索返回 � 准确率：大于 准确率：大于1000 1000像素的目标，搜索返回
人脸视觉特征表示
人脸视觉特征表示
特征索引数据库
前50 个结果中发现目标的概率达到 95% 50个结果中发现目标的概率达到
视频侦查面临问题
• 解决视频侦查中的两个应用问题
– 视 频监控中目标人物的身份鉴定
� 基于视频图像的人脸识别技术
– 海量视频数据中目标人物的追溯定位
� 基于人脸识别的视频搜索技术
视频侦查面临问题
• 技术支撑方面的要求
– 视 频采集
� 视频图像质量 � 摄像设备选择与安装
– 视 频传输
� 压缩编码 � 传输方式
– 功能架构
� 视频中人脸信息的提取模块 � 视频信息的结构化索引模块 � 视频图像搜索式比对识别模块
视频处理
• 场景二：海量视频数据中目标人物的追溯定位
– 技 术流程
� 视频流关键帧图像提取 � 模糊帧图像增强处理 � 人脸检测与跟踪 � 人脸特征索引数据库构建 � 目标人脸图像搜索式识别 � 定位并获取视频线索
iSCSI – 存储类型： 存储类型：iSCSI
� 建立在常见和稳定的标准上，更容 易接受且安装维护成本较低 � 减少了不同的网络和布线，使用常 规以太网交换机而不必专用光纤通 道交换机，提高了互操作性 � 速度可以扩充至 10Gbit
视频存储
• 云存储解决方案
– 一个中心，多个二级云结点 – 将视频监控业务中所有能抽象出来 的特性都 内嵌到云存储中 – 在小云端建立索引库，视频检索在索引上进 行，通过时间戳定位到相应视频段在磁盘中 所处的位置。视频的存储格式不影响检索效 率 – 数据按就近原则存储在小云端中，云端间数 IP 网络 据传输不经过 据传输不经过IP IP网络 – 中心用户下达的搜索指令被组播到相关小云 端，各小云端同时进行并发式检索。数据量 越大越能体现优势
变换与反变换 （Transform ） 源码
编码流程 H.264 H.264编码流程
帧间和帧内预测 （Estimation ）
ISO ）和国 – 国际标准化组织（ 国际标准化组织（ISO ISO）和国 ITU ）于 2003 年 际电信联盟（ 际电信联盟（ITU ITU）于 ）于2003 2003年 H.264 （高级视频 共同提出的 共同提出的H.264 H.264（高级视频 编码）标准是目前市场上使用 最广泛的视频编码标准。
– 基于人脸识别、车牌识别、行为分析等计算机视觉技术的智能视频分析应用不断 发展 – 基于云计算的海量视频数据处理技术推广应用
总结
分析了公安视频侦查过程中遇到的两个实际问题： � 视频监控中目标人物的身份鉴定 � 海量视频数据中目标人物的追溯定位 针对两种问题分别调研了基于视频图像的人脸识别技术与基于人脸识 别的视频搜索技术，根据相应的需求对视频监控体系中视频采集、压 缩编码、传输、存储以及视频分析处理环节进行了功能与技术上的概 述分析。 视频监控智能分析应用符合平安城市、智慧城市的发展需求，借助于 计算机视觉技术、云计算技术的发展，将充分发挥视频监控的安防效 用，并且大大提高公安视频侦查工作的效率。
人脸特征搜 索式比对 视频定位结果
技术趋势
• 视频监控技术
– 视频采集：高清化趋势 – 视频传输：更高效的压缩算法、光纤传输专网 – 视频存储：海量存储系统、云存储架构
• 人脸识别技术
– 非合作、中远距离、不可控光源情境下人脸识别技术不断发展 – 视频监控中人脸识别应用日趋成熟
• 智能视频分析技术
环路滤波 （Loop Filter ）
熵编码 （Entropy Coding ）
完成
视频传输
• 流媒体转发技术
– 虚拟化的流媒体转发服务器将 摄像头传回来的视频流进行打 包分发 – 满足视频处理对原始数据的实 时性调用 – 实时性传输在上墙前需要使用 缓存技术
原始视频 数据流 视频分 析数据 编码处理后发 IP 网络上 送到 送到IP IP网络上 的数据流 摄像头 小云虚拟化视 频服务器 中心云端
数字无线接入
光纤 无线 802.11g
视频存储
• 海量数据存储方案
存储技术 – IP SAN+iSCSI SAN+iSCSI存储技术 – 云存储技术
• 数据快速访问机制
– 分布式存储 – 并行访问
• 数据存储形式
– 视频文件形式 – 多级索引
� 磁盘索引 � 文件索引 � 段索引 � 祯索引
视频存储
交换机 交换机 视频搜索请求
中心云端
云A
云 B
云C
路由器
视频存储
• 云存储方案解决的的问题
海量数据造成网 络拥塞 就近存储 小 云级联
N+M大量备份冗 余设备
云存储平台
N+0 应用云
海量数据下的处 理速度分布式 并行搜索Fra bibliotek数据安全性
SaveRadio技术
视频处理
• 两种应用场景
– 视频监控中目标人物的身份鉴定 – 海量视频数据中目标人物的追溯定位
– 摄像机类型
� 红外一体摄像机 � IP网络高清摄像机 � 双目立体摄像机
– 数 据量增加
� 传输带宽限制 � 海量存储机制
– 摄 像机安装
� 光照环境限制 � 角度距离限制
视频传输
• 视频压缩技术
– 摄像头采集到的视频流发送到 网络上之前需要进行进行高 IP IP网络上之前需要进行进行高 效的编码以节省传输带宽。
视频处理
• 人脸识别核心算法
– 多 视角人脸合成技术
� 正面人脸图像合成技术 � 典型逆向问题 ） � 视角形变技术（ View morphing morphing）
– 人脸视觉特征表示
� 计算机通过模拟人类视觉感知过程识别人脸 � 通过数字化的特征描述符表示人脸信息 � 特征描述符之间的距离计算确定人脸相似性 � 目前人脸视觉特征表示方法较为成熟
– 功能架构
� 模糊视频图像增强模块 � 视频中人脸图像提取模块 � 多视角人脸处理模块 � 静态人脸图像比对识别模块
视频监控 人物身份 鉴定系统
视频处理
• 场景一：视频监控中目标人物的身份鉴定
– 技 术流程
� 模糊视频图像增强 � 关键帧图像提取 � 模糊帧图像增强 � 帧图像中人脸检测 � 多视角人脸合成 � 人脸比对识别
量化与反量化 （Quantization ）
H.264 编码技术，视频文 – 采用 采用H.264 102:1 ，经过 件的压缩比可达 件的压缩比可达102:1 102:1，经过 720p 高清视频可在 编码后的 编码后的720p 720p高清视频可在 以下带宽中传输。 1Mbps 1Mbps以下带宽中传输。
• IP SAN+iSCSI 存储技术 SAN+iSCSI存储技术
IP-SAN – 网络架构： 网络架构：IP-SAN
� 共享昂贵的存储资源，提高存 储设备的利用率达到 80%以上 � 磁 盘阵列的存储容量具有良好 的可扩展性 � 集 中化分配管理存储资源，节 省传统直连式存储设备多路并 行管理费用 � 文 件迁移不通过以太网，节省 带宽
• 支撑技术
– 基于视频图像的人脸识别技术 – 基于人脸识别的视频搜索技术
• 技术要点