Survey of Similarity Video Correlation Analysis Technology
DENG Li-qiong1, CHEN Dan-wen1, YUAN Zhi-min1, WU Ling-da1,2 (1. Science and Technology on Information Systems Engineering Laboratory, National University of Defense and Technology,
文 献 [9] 中 提 出 了 基 于 视 频 匹 配 的 特 征 对 齐 方 法 (Signature Alignment, SA)。特征对齐首先通过计算相邻图像 之间的相似度将每一帧转换为单一值序列。这种方法使用视 频的局部序列前后关系，对特征变化是鲁棒的。然而，在实 际应用中，除了镜头转换的案例外，相邻帧常常是十分相似 的。因此，特征对齐的匹配方式还不够准确。虽然基于特征 的方法加快了视频匹配的速度，但仍然有信息损失的缺点而 易导致许多错误的搜索结果。
3.4 基于轨迹的相似视频匹配 基于轨迹的方法沿着图像或视频序列跟踪兴趣点，使得
关键点特征具有空间和时间的信息。例如，文献[10]利用轨 迹来突出不同的运动行为，然后将行为标签分配给每个局部 描 述 子 。 文 献 [11]使 用 一 系 列 的 轨 迹 来 表 示 整 个 镜 头 ， 其 中 每个轨迹轮流被描述为离散的时间模式。一般而言，抽取出 轨迹是一项十分耗时的工作，而且轨迹特征往往对镜头运动 敏感，因此其鲁棒性局限于版本探测，对普通的相似帧探测 并不鲁棒，尤其是涉及到视角变化的图像。
Changsha 410073, China; 2. College of Command and Technology on Equipment, Beijing 100016, China)
【Abstract】This paper gives a detailed survey of the understanding of similarity video clips, the matching of similarity video clips and the detection of similarity video clips in videos events. And emphasizes on the presentation of kinds of video matching technology during similarity video detection, and discusses the advantages and limitations among them. The popular technologies in the detection are introduced. Combining with actual applications, the existing problems and potential tendency of these research directions are discussed. 【Key words】similarity video; correlation analysis; matching technology; key frame DOI: 10.3969/j.issn.1000-3428.2011.15.069
第 37 卷 第 15 期 Vol.37 No.15
·多媒体技术及应用·
计算机工程 Computer Engineering
文章编号：1000—3428(2011)15—0215—03
文献标识码：A
2011 年 8 月 August 2011
中图分类号：TP391
相似视频关联分析技术综述
邓莉琼 1，陈丹雯 1，袁志民 1，吴玲达 1,2 (1. 国防科学技术大学信息系统工程重点实验室，长沙 410073；2. 装备指挥技术学院，北京 100016)
根据视频结构中不同的层次，视频结构为帧-镜头-故事 单 元 - 视 频 ， 相 应 的 匹 配 技 术 为 相 似 关 键 帧 探 测 (Near Duplicate Keyframe Detection, NDK)- 相 似 镜 头 探 测 (Near Duplicate Shot Detection, NDSD)-相 似 视 频 片 段 探 测 (Near Duplicate Video Clips, NDVC)、基于内容的重复片段探测 (Content-based Copy Detection, CBCD，又名 Identical Video Segment Detection)-视频线程化技术、视频事件探测跟踪技
文献[12-13]通过基于序列匹配方式进行相似视频匹配， 其优点是将时序信息考虑了进来。其中，文献[12]提出的编 辑距离变量是目前在时间匹配上最鲁棒的方法，由于其保持 了时间上的序列信息。EPR 是第 1 个被提出的综合编辑距离 和 L1 标准距离的方法。文献[13]中提出了一个基于无尺度量 化的符号化方法，称为 vString。实际特征值被映射为一些离 散的类别，每个视频以多维度的视频字符串来表示。最后， 使用 vstring 编辑距离进行相似度计算。这一工作同样没有减 少视频特征的多维度性，因此，表示的方法不够紧凑。
4 相似视频片段探测技术
相似视频片段探测是一种用于探测反复出现在视频数据 里的相似视频片段，当在包含上千个小时的视频数据库里进 行检索时，会有一些视频片段反复出现在新闻数据里。这些 视频片段能帮助揭示出重要的主题以及建立视频数据库的结 构。NDVC 的探测在 2008 年第 1 次作为视频检索国际评测 (Video Retrieval Evaluation at TREC, TRECVID)的标准评测 内容进入比赛，可见研究 NDVC 探测的重要意义。
一个典型的基于相似关键帧视频匹配的方法是通过计算 相似帧的数量来测量相似度。在文献[6]中，视频内部的相似 度用 2 个视频之间的相似帧图像的数量来计算。2 个视频之 间的距离被定义为相似帧的数量在所有帧数量中所占的比 例。文献[7]从分割好的视频镜头片段中抽取出一些关键帧， 然后通过比较 2 个视频的关键帧集来计算视频之间的相似 度。这一方法的主要缺陷是没有考虑序列信息。近年来，为 了有效地进行视频检索，文献[8]提出了构建相似关键帧识别 子数据库来提高分析效率的基本思路，即在数据库中设置相 互之间具有重叠区间的时间片段，选择该时间片段的视频数 据构建进行分析子数据库。
Pinar Duygulu 等在研究中认为，视频制作中有 2 条规则： (1)特定镜头的重复使用来提示特定的事件；(2)如果没有相同 的，则选取相似的镜头或图标作为事件的标志。并在此基础 上设计了一种方法来发现重复的视频片段并识别匹配相似的 图标来探测和跟踪事件。该方法是一种启发式方法，对一些 经验参数的设置非常敏感。文献[14]试图使用表 1 中对 NDVC 的定义来识别和移除 NDVC。他们提出了一个层次化的方法 来对 NDVC 进行聚类和过滤，并证明了他们的方法能够有效 地探测和减少在搜索列表中冗余的视频。
在视频的编辑过程中，报道相同事件的视频片段关键帧 中通常包含有重复或者近似的场景和对象。这种关键帧视觉
基金项目：国家“863”计划基金资助重点项目(2009AA01Z335)； 国家自然科学基金资助项目(60802080) 作者简介：邓莉琼(1986－)，女，博士，主研方向：多媒体分析检索， 图像匹配，视频关联；陈丹雯、袁志民，博士；吴玲达，教授、博士、 博士生导师 收稿日期：2011-01-20 E-mail：tigerss1016@
摘 要：对目前相似视频关联分析领域的相似视频理解、相似视频匹配、相似视频探测等进行比较和论述。介绍相似视频匹配方面的几种 不同的匹配技术，探讨不同技术中存在的主要优势和缺陷，并介绍近年来在相似视频探测方面的最新技术和原理。结合实际应用讨论该领 域目前存在的问题和发展趋势。 关键词：相似视频；关联分析；匹配技术；关键帧
3.3 基于特征的相似视频匹配 基于特征的方法将视频归纳为指纹并用于快速检索。典
型的例子包括使用全局颜色直方图将视频里的帧压缩为一个 指纹。更先进的技术包括近年来提出的随机柱状图，其抽取 出底层次的特征并使用 locality sensitive hashing 将其嵌入到 高维空间里。得到的指纹不仅压缩且稀少，适合使用诸如矢 量空间模型等索引方法进行快速检索。但由于指纹中常常忽 略了时间信息，因此不支持部分相似视频的匹配。
术，除了底层的 NDK 技术是针对图像以及最高层的事件探 测跟踪是针对高层语义，中间的两层在研究技术上是一致的。 本文统一将相似视频称呼为 NDVC。
3 相似视频匹配技术
相似视频匹配技术主要研究如何依据相似视频之间的相 似度进行相似视频的匹配。可以将目前存在的针对相似视频 匹配的相关工作分为 5 类。 3.1 基于文本的相似视频匹配
1 概述
在视频数据中，有一部分视频片段经常重复的出现，这 些视频片段可以用于分析视频数据[1]。重复的或近似重复(相 似)的视频检索近年来受到人们的普遍关注。探测重复的镜头 (帧序列)能减少需要存储的数据的数量，并且当移除重复镜 头后，有助于更快速地进行深入的视频分析。本文对目前相 似视频关联分析领域的相似视频理解、相似视频匹配、相似 视频探测等进行了论述。
2 相似视频关联技术
图 1 是相似视频关联技术方面的技术归纳。
视频结构 视频
相应研究技术
视频主题线程化技 术；视频事件探测与 跟踪；视频冗余探测
故事单元 相似视频片段探测技
…(片段)术(NDVC Nhomakorabea CBCD等)
…
镜头 (场景)
相似镜头探测技术 (NDSD)
…
单帧图片
相似关键帧技术 (NDK)
图 1 相似视频关联技术归纳
基于视频文本的相似度测量与文本领域中的 TDT 研究 比较接近，因此，最初开展的研究首先通过自动语音识别技 术获得视频相应的文本信息，通过文本信息中的故事单元分 割和相似度分析。