k 表示在这 n 个样本点 x 中,有 k 个点落入 Sh 区域中.
由上可知 (x i x) 是样本点 xi 相对于点 x 的偏移向量,(3.1)式定义的 MeanShift
向量 M h ( x) 就是对落入区域 Sh 中的 k 个样本点相对于点 x 的偏移向量求和然后 再平均.从直观上看,如果样本点 xi 从一个概率密度函数 f (x) 中采样得到,由于非 零的概率密度梯度指向概率密度增加最大的方向,因此从平均上来说, Sh 区域内 的样本点更多的落在沿着概率密度梯度的方向 . 因此 , 对应的 , MeanShift 向量
则(3.8)式完全退化为(3.1)式,也就是说,所给出的扩展的 MeanShift 形式在某些情 况下会退化为最基本的 MeanShift 形式。 3.2.3 本工作使用 Meanshift 算法步骤 本工作使用基于颜色的 Meanshift 算法，算法步骤如下： ⑴ 初始化搜索窗口 ⑵ 将 RGB 颜色空间转换到 HSV ，得到目标的 H 分量分布直方图 ⑶ 利用得到的直方图计算每帧图像的颜色概率投影图 ⑷ 计算颜色概率投影图的零阶矩 M 00 ，一阶矩 M 01，M 10 ⑸ 得到质心位置 Xc M 01 / M 00 , Yc M 10 / M 00 ，将搜索窗口中心移动 到此 ⑹ 重复⑷和⑸至算法收敛 其中，搜索窗口的初始化使用鼠标框选目标物体完成。得到的颜色概率投影 图如下图 3‐2 所示，可以看到，属于目标物体的区域为高灰度值的亮点，其余地 方为低灰度值的暗点，Meanshift 算法的目的就是让搜索窗口向亮点集中的区域 （也就是目标物体所在区域）移动。 零阶矩 M 00 ： M00 I(x ,y )
视频运动目标跟踪报告
1 概述
计算机视觉研究的目标是实现计算机对外界环境的感知和理解，进而实现计 算机对人类视觉的仿真。运动目标跟踪是计算机视觉领域研究的核心内容之一， 它是对视频帧序列中的运动目标进行检测、定位和跟踪，在获得运动目标的运动 特征信息之后， 通过进一步处理和分析， 达到对运动目标的行为进行解析和描述， 以完成更高级任务的目的。运动目标跟踪在技术上涉及视频处理、图像处理、模 式识别、 自动控制以及人工智能等多个领域， 应用性极强。 且它在公共场景监控、 智能交通、医学气象、机器人视觉导航、军事视觉制导等许多方面都有广泛的应 用。 但由于受到光照变化、噪声、遮挡、同色等诸多因素的影响，运动目标跟踪 算法的有效性直接影响到目标跟踪的准确性和稳定性， 进而对最终的判断产生影 响。因此，研究实时性好、准确率高、稳定性好的运动目标跟踪方法具有很大的 挑战性。
3
3 MeanShift 和 Kalman 滤波算法的分析与实现
MeanShift 算法,一般是指一个迭代的步骤,即先算出当前点的偏移均值,移动 该点到其偏移均值,然后以此为新的起始点,继续移动,直到满足一定的条件结束。 3.1 Mean Shift 的基本思想
给定 d 维空间 R d 中的 n 个样本点 xi , i =1,…,n,在 x 点的 MeanShift 向量的基本 形式定义为:
M h ( x) 应该指向概率密度梯度的方向，MeanShift 示意图如图 3‐1 所示。
. 图 3‐1 MeanShift 示意图
4
如图 3‐1 所示,大圆圈所圈定的范围就是 Sh ,小圆圈代表落入 Sh 区域内的样本
点 xi Sh ,黑点就是 MeanShift 的基准点 x ,箭头表示样本点相对于基准点 x 的偏 移向量,很明显的,可看出,平均的偏移向量 M h ( x) 会指向样本分布最多的区域,也 就是概率密度函数的梯度方向。
M x
G
i 1
n
H
( xi x) w( xi )( xi x)
(3.7)
H
G
i 1
n
( xi x) w( xi )
其中:
6
GH ( xi x ) H
1/ 2
G H 位核函数
H 是一个正定的对称 d d 矩阵,称之为带宽矩阵
w( xi ) 0 是一个赋给采样点 xi 的权重
2 2 在实际应用的过程中,带宽矩阵 H 被限定为一个对角矩阵 H diag h1 ,..., hd ,
甚至更简单的被取为正比于单位矩阵,即 H h2 I .由于后一形式只需要确定一个 系数 h ,在 MeanShift 中常常被采用,在本文的后面部分也采用这种形式,因此(7)式 又可以被写为:
1 if x 1 F ( x) (3.4) 0 if x 1
单位高斯核函数: N ( x ) e x (3.5)
1
图 2-1 运动目标跟踪系统处理流程
2.2 目标跟踪算法简述
由于目标跟踪应用范围广泛，针对不同的应用条件和环境，目前已研究设计 出许多目标跟踪算法，下面总结了几种目前应用范围较广的目标跟踪算法。 2.2.1 基于特征的跟踪方法 在视频中连续的两帧图像中，有很多运动目标的特征信息，由于帧间的时间 间隔很短，可以认为这些目标的特征信息在一段时间内是不变的，根据特征信息 能有效地对运动目标进行跟踪。这样即使目标有部分被遮挡，但由于特征信息包 含在整个目标中，仍然可以根据部分特征来解决目标被小面积遮挡问题。本报告 主要针对基于颜色特征的 Meanshift 跟踪算法作应用研究。 基于特征的跟踪方法有其显著的优点：①在跟踪过程中目标特征容易被检测 到，并且能够很好的匹配目标特征；②由于建立的都是简单的特征模型，且特征 信息具有短时间稳定性，因此基于特征的跟踪算法相对简单；③由于建立的特征 模型间是相互独立的，因此在目标跟踪过程中不需要考虑目标的形状大小变化。 2.2.2 基于主动轮廓的跟踪方法 运动目标边缘轮廓特征能够提供与物体形态、运动方式无关的目标特征信
图 3‐3 截尾高斯核函数 (a) N 1F1 (b) N 0.1 F1 3.2.2 MeanShift 扩展形式 从(3.1)式可看出,只要是落入 Sh 的采样点,无论其离 x 远近,对最终的 M h ( x) 计 算的贡献是一样的,一般说来,离 x 越近的采样点对估计 x 周围的统计特性越有效, 因此引进核函数的概念,在计算 M h ( x) 时可以考虑距离的影响;同时也可认为在这 所有的样本点 xi 中,重要性并不一样,因此对每个样本都引入一个权重系数。如此 以来就可把基本的 MeanShift 形式扩展为:
2
这两类核函数如下图所示:
5
图 3‐2 (a) 单位均匀核函数 (b) 单位高斯核函数 一个核函数可以与一个均匀核函数相乘而截尾,如一个截尾的高斯核函数为, 2 x e if x (3.6) N F ( x) 0 if x 图 3‐3 显示了不同的 , 值所对应的截尾高斯核函数的示意图:
3.2 扩展 Mean Shift 原理
3.2.1 核函数 首先引进核函数的概念. 定义: X 代表一个 d 维的欧氏空间, x 是该空间中的一个点,用一列向量表示。
2
x 的模 x
xT x . R 表示实数域 . 如果一个函数 K : X R 存在一个剖面函数
k : 0, R ,即
2
息。此算法是一种有效的检测和跟踪算法，它主要是利用外部力、约束力以及内 部力的作用，让曲线主动的向被跟踪的目标轮廓附近移动，当曲线停止移动时， 就认为该曲线是被跟踪目标的轮廓。它是由 Kass 等人提出的基于边缘信息跟踪 的主动轮廓跟踪方法。由于该方法是基于目标轮廓的全局信息，在获得轮廓曲线 时不需要运动目标的任何先验知识，因此在目标跟踪、图像分割、边缘检测等方 面都有着广泛的应用。但此模型也存在着一些缺点：①初始轮廓不能离目标的真 实边缘太远，否则就会导致跟踪结果不准确。②传统模型不能得到目标深凹部分 的曲线。 2.2.3 基于运动估计的跟踪方法 基于运动估计的运动目标跟踪方法是目标跟踪中广泛应用的方法之一。基于 运动估计的运动目标跟踪方法中的目标运动参数是通过光流法检测获得的， 主要 包括全局光流场和特征点光流场两种方法。相比于全局光流场方法，特征点光流 场只需对目标特征匹配就可以求得目标的位置，具有实时性高和计算量小的特 点。但由于得到的是基于特征点的光流场，因而很难获得运动目标的全局信息。 总的来说，由于遮挡、阴影、光源变化、同色干扰和噪声等原因，使得估计出的 运动目标的特征信息并不一定精确和可靠。而且大部分光流法实时性差，复杂度 高，除非有特殊硬件支持，否则很难实现对运动目标的实时检测。
M h x 1 xi x k xi Sh
(3.1)
其中, Sh 是一个半径为 h 的高维球区域,满足以下关系的 y 点的集合,
i
Sh x y : y x

T
y x h2
(3.2)
K ( x) k x

2
(3.3)
并且满足: (1) k 是非负的. (2) k 是非增的,即如果 a b 那么 k (a) k (b) . (3) k 是分段连续的,并且 k ( r ) dr
0
那么,函数 K ( x) 就被称为核函数.下面介绍两种基本核函数，分别是: 单位均匀核函数:
2 运动目标跟踪系统调研
作为计算机视觉领域的关键技术之一的运动目标跟踪系统，它可以通过各种 计算和检测手段，对被跟踪的运动目标进行特征信息模型建立、目标预测和跟踪 标定。从这一方面来说，目标跟踪的含义可以概括为传感器基于测量数据并经一 系列处理，连续给出目标轨迹的动态过程。 2.1 运动目标跟踪系统简述 运动目标跟踪已经应用到视频监控、智能交通系统、医学等多个计算机视觉 应用领域。它主要是针对传感器采集到的图像序列进行分析，提取场景中感兴趣 的部分，给对应于同一目标的像素区域分配相同的标记，同时在视频图像序列间 创建关于运动目标纹理、颜色、位置、形态、速度等特征信息在跟踪过程中的匹 配方法，一般包含目标描述、特征提取、运动估计和目标匹配四个部分。图 2‐1 是运动目标跟踪系统处理流程。