Key Techniques for Content-based Video Analysis
ZHANG Liang，ZHOU Changsheng （ Computer Center of Beijing Information ＆ Science Technology University，Beijing 100192，China） Abstract This paper analyzes the differences between video data and text data，and problems in the video retrieval of video data． Semantic video database，video and video analysis of relevant low-level features，video object classification and recognition，video content description and video retrieval interface methods are analyzed and compared． Finally，a framework for video semantic analysis and analysis process is proposed． Keywords video； semantic analysis； content analysis； video objects
图像·编码与软件
张良，等： 基于内容的视频语义分析关键技术
一定程度上解决了这些问题。视频文件通过设备记 层特征和高层语义概念之间存在语义鸿沟，在语义概
录，形成视频文件，如图 2 所示。
念层次进行视频内容的描述和操纵面临较大困难。如
何从视频内容中提取能反映人类主观概念中的语义信
息、描述视频所表达的情感信息正成为视频内容分析
矩是一种测量彩色图像相似性的方法，颜色信息集中 在图像颜色的低阶矩，故主要针对颜色分量的一阶矩、
感知层内容： 主要包含色彩、形状、纹理、声音信号 二阶矩以及三阶等颜色矩进行统计。颜色矩计算简
等低层特征，这些数据是可以从视频文件中直接提取、 单，可以有效表示区域中的主要色彩分量和区域中颜
分析。
色分布，对于只有一个目标的图像十分有效，并已在多
视觉感受，用语言和文字进行定性和定量的表述比较 （ 4） 对象鉴别，即 对 给 定 的 对 象 类 别 进 行 实 例 细 分。
困难。常用的纹理分析方法有统计法、结构法等。
视频语义对象识别的难点有视频对象的多角度变换问
1. 4. 1 统计法
题、遮挡问题、尺度问题、形变问题和背景干扰问题等。
统计法根据人的直观视觉感受，通过灰度级分布 视频语义分析的重点是对视频对象进行处理分析，得
的新焦点。
视频数据流是一个非结构化的二维图像序列，因
此，需要将这种非结构化的图像流转化为结构性、可表
达的数据，才 能 对 视 频 进 行 进 一 步 的 语 义 语 义 分 析。
图 2 视频记录方式
由设备记录的视频文件可以客观地记录事件发生 的真实情况，相对文件记录来说，更直观真实。在视频 足够清晰、时间记录充分的情况下，很少产生争议。但 数字视频数据的这些特征也带来数据处理上一些难以 解决的问题。如图 2 所示，由于视频数据直接面向受 众，视频中所包含的语义信息、情感信息需要用户通过 观看视频体验。
2011 年第 24 卷第 10 期 Electronic Sci. ＆ Tech. / Oct. 15，2011
图像·编码与软件
基于内容的视频语义分析关键技术
张 良，周长胜
（ 北京信息科技大学 计算中心，北京 100192） 摘 要 分析了视频数据与文本数据的差异，以及视频数据在视频分析检索方面存在的问题。从视频内容分析领 域的研究热点出发，分别对视频语义库、与视频分析相关的视频低层特征、视频对象划分与识别、视频信息描述与编 码等方面的技术进行了分析和对比。并提出了一个视频语义分析的框架和分析流程。 关键词 视频； 内容分析； 视频对象； 视频描述 中图分类号 TP391 文献标识码 A 文章编号 1007 － 7820（2011）10 － 111 － 04
分歧，难以还原出事件发生时的真实情况。图片内容 是静止的，只是某一时间发生的诸多场景中的一个，可 能是事件发展中的一个极小的片断和发生以偏概全等 方面的错误。很多事件的记忆如历史事件的记录是由
分析，数据挖掘。
于文字记录方式造成了诸多争议。而视频记录方式在
www. dianzikeji. org
111
随着多媒体技术的发展，人类进行信息存储传播 已从传统单一的文字描述发展到包括数字视频、音频、 文字、图片等在内的多种方式，其中数字视频占据了较 大的比例。每天都有大量视频从电视、电影以及各种 摄像设备及监控系统中产生，并源源不断地上传至互 联网。由于视频数量巨大，从海量视频数据中检索需 要的内容已成为视频领域中一个重要的需求。从视频 片断中提取所包含的语义信息，对视频数据的管理、分 类、检索都有重要的意义。视频情感语义分析涉及心 理学、图像处理、音频处理、视频分析模式识别、机器学 习等多个领域，属于交叉学科。目前的基于内容的视 频语义分析已经取得了一定进展，但至今提出的理论 和方法还处于探索阶段，远不能满足实际应用。
文中从视频内容分析领域的研究热点出发，分别 对视频内容分析、与视频分析相关的视频低层特征、视 频对象划分与识别、视频信息描述与编码和视频检索 接口等方面的技术进行了分析和对比。
1 基于内容的视频分析
1. 1 视频数据的特征 视频数据之所以有如此快速的发展，与视频数据
本身的特征有关。在视频录制播放设备出现前，人类 基本采用文字描述结合图片辅助等方法进行事件或事 物的描述。这种方法需要描述人对事物和事件进行观 察、理解和记忆，再通过文字语言的方式表达出来，如 图 1 所示。
律的特性。纹理是一种全局特征，对图像灰度变化的 割提取视频中的语义对象。（ 2） 对象证实，即二值判
特征进行量化，与对象的位置、走向、大小、形状有关， 断视频片断中是否出现过指定对象。（ 3） 对象检测，
与平均度灰度级无关。由于纹理特征是人们对事物的 即定 位 视 频 中 指 定 对 象 的 准 确 位 置 和 出 现 时 间。
图 1 传统文字记录方式
通过这种 方 式 对 事 件 的 记 录 与 描 述 人 的 主 观 立
场、文化背景、知识背景、表达能力甚至当时的心情都
有较大关系，不同的人对同一事件的描述会有较大的
收稿日期： 2011-05-03 基金项目： 北京市属高等学校人才强教计划基金 资 助 项 目 （ PHR201008447） 作者简介： 张良（ 1980 － ） ，男，讲师。研究方向： 视频语义
场景中所有可能出现的语义视频对象的模型，要求详 细地知道语义视频对象模型的几何形状特征，适用于 特定领域的视频，如交通监控、体育视频分析等。由于 通用视频中对象类型多，不可能事先对所有队形进行 模型估计和定义。基于模型的跟踪技术不适用于通用 视频。 2. 3 基于特征的对象检测
基于特征的跟踪技术提取语义视频对象的特征， 利用提取的特征进行跟踪。首帧标注或检测出对象关 键点位置，后续帧中通过跟踪建立起帧间特征的对应 关系，即可获得各时刻对象的位置参数，由于只是根据 特征进行跟踪，而不对细节进行考虑，因此，即使语义 视频对象之间发生部分遮挡，仍然可以稳定的跟踪对 象。该方法最大的困难在于如何分类特征，以确定哪
行语义识别，与人类思维中的视频语义如新闻事件、对 衣物等都有各自的纹理特征。纹理特征包含了物体表
话场景、人类的情感反应等概念有较大差异。由于低 面结构组织排列的重要信息以及它们与周围环境的联
112
www. dianzikeji. org
张良，等： 基于内容的视频语义分析关键技术
图像·编码与软件
系。纹理是指图像中所具有的局部不规则而宏观有规 （ 1） 对象识别，即对视频片断的目标区域进行识别，分
的随机属性来描述问题特征，主要方法有灰度直方图、 到视频中感兴趣的对象，即能对人类情感反应产生主
灰度差值直方图和灰度共生矩阵法。其中灰度共生矩 要影响的对象，现有的语义视频对象检测技术可以分
阵法应用较多，又称灰度联合概率矩阵法，是对图像的 为两类： 基于特征的检测和基于模型的检测。
所有像元进行统计调查，以便描述其灰度分布的一种 2. 2 基于模型的对象检测
性、可表达的数据，才能对视频进行进一步的语义分 分布信息，直方图相似的图形可能空间分布差别很大。
析。而视频所记录的信息十分丰富，不同人从不同的 1. 3. 2 颜色矩
角度对视频进行观察，可能得到不同的描述信息。
颜色矩测是测量视频帧图像相似性的方法。颜色
1. 2 视频数据的内容层次 Hanjalic 将视频中的“内容”分为 3 个层次［1］：
方法。
基于模型的跟踪技术定义数化的语义视频对象
1. 4. 2 结构法
模型，又称为自顶向下的对象捕捉方法，利用定义的模
结构法采用纹理基元理论，采用简单纹理基元排 型进行跟踪。将对象模型投影并与图像匹配，以获得
列的规律性来分析问题特征，主要分析基元的特征和 对象姿态参数。需要借助对模型，利用对象几何结构、
在这 3 个层次的内容中，与观众关系较密切的是 1. 4 纹理特征
认知层和情感层的内容，因为人们观看视频的主要目
纹理特征是一种不依赖于颜色或亮度，反映图像
的是为了获得主观印象和情感满足。根据目前的研究 中同质现象的视觉特征。纹理特征表现为视频对象在
资料，视频数据的描述、检索等技术大多采用感知层进 灰度或颜色分布上的某种规律性，例如树叶、天空、砖、
颜色特征是一种全局特征，它与视频中包含的事 物或事件的 关 系 密 切，并 且 对 视 频 中 对 象 的 缩 放、运 动、变形等因素依赖性小，所以在视频分析中应用较为 广泛。颜色特征包括颜色直方图、颜色相关图、颜色矩 和局部颜色特征。 1. 3. 1 颜色直方图