专业硕士研究生实践训练环节视频运动目标检测与跟踪学院：信息科学与工程学院专业：姓名：学号：授课老师：日期：2017目录1 课程设计的目的和意义 (1)1.1 课程设计的目的 (1)1.2 课程设计的意义 (1)2 系统简介及说明 (2)3 设计内容和理论依据 (2)3.1 基于Mean Shift的跟踪算法 (3)3.1.1 RGB颜色直方图 (3)3.1.2 基于颜色和纹理特征的Mean Shift跟踪算法 (3)3.2 基于颜色特征的粒子滤波跟踪算法 (4)3.2.1 贝叶斯重要性采样 (4)3.2.2 序列重要性采样 (5)3.2.3 粒子退化现象和重采样 (6)3.2.4 基本粒子滤波算法 (6)4 流程图 (7)4.1 Mean Shift跟踪算法流程图 (7)4.2 粒子滤波跟踪算法流程图 (7)5 实验结果及分析讨论 (8)5.1 基于Mean Shift的跟踪算法仿真结果 (8)5.2 基于颜色特征的粒子滤波算法仿真结果 (9)6 思考题 (10)7 课程设计总结 (10)8 参考文献 (10)1 课程设计的目的和意义1.1 课程设计的目的随着计算机技术的飞速发展、信息智能化时代的到来，安防、交通、军事等领域对于智能视频监控系统的需求量逐渐增大。

视频运动目标跟踪是计算机视觉领域的一个研究热点，它融合了人工智能、图像处理、模式识别以及计算机领域的其他先进知识和技术。

在军事视觉制导、安全监测、交通管理、医疗诊断以及气象分析等许多方面都有广泛应用。

同时，随着视频摄像机的普及化，视频跟踪有着广泛的应用前景，对城市安全起到了防范作用，并且和我们的生活息息相关。

从目前国内外研究的成果来看，对于运动目标的跟踪算法和技术主要是针对于特定环境提出的特定方案，大多数的跟踪系统不能适应于场景比较复杂且运动目标多变的场景。

并且在视频图像中目标的遮挡、光照对颜色的影响、柔性刚体的轮廓变化等将严重影响目标的检测与跟踪。

因此如何实现一个具有鲁棒性、实时性的视觉跟踪系统仍然是视觉跟踪技术的主要研究方向。

Mean Shift算法的主要优点体现在：计算简单、便于实现；对目标跟踪中出现的变形和旋转、部分遮挡等外界影响，具有较强的鲁棒性。

缺点在于：算法不能适应光线变化等外界环境的影响；当目标尺度发生变化时，算法性能受到较大的影响。

粒子滤波适用于非线性、非高斯系统，在诸如机动目标跟踪、状态监视、故障检测及计算机视觉等领域有其独到优势，并得到了广泛研究。

但粒子滤波算法本身还不够成熟，存在粒子匮乏、收敛性等问题。

因为跟踪机动目标需要对目标的运动特性有一定了解，因此，目标跟踪的难点之一在于目标模型的建立及其与跟踪方法的匹配上，这是提高跟踪性能的关键。

1.2 课程设计的意义图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。

又称影像处理。

图像处理一般指数字图像处理。

数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。

图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。

常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。

图像处理一般指数字图像处理。

虽然某些处理也可以用光学方法或模拟技术实现,但它们远不及数字图像处理那样灵活和方便,因而数字图像处理成为图像处理的主要方面。

随着计算机的发展，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。

数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程。

其目的是进一步巩固数字图像的基本概念、理论、分析方法和实现方法。

通过本次课程设计增强应用matlab编写熟悉图像处理的应用程序及分析问题解决实际问题的能力，同时对综合运用专业基础知识及软件设计能力也会有较大提高。

2 系统简介及说明视频跟踪的目的就是从复杂的背景中检测出跟踪目标，通过对图像序列进行处理和分析研究，从而实现对目标的准确跟踪。

目标跟踪的原理就是在每一帧的图像序列中找出目标的确切位置。

一般的跟踪方法是首先提取被跟踪目标的图像，建立一个模板，然后在下一帧图像中进行全图匹配，搜索目标图像，直到找到匹配的位置。

尽管不同的应用场合和需求对应了不同的跟踪系统，但是它们的基本原理、关键技术和核心算法大同小异。

实现目标跟踪的关键在于如何有效的分割目标、合理的提取目标特征和准确、稳定地识别目标，同时还要考虑目标跟踪算法实现的时间，保证跟踪的实时性和鲁棒性。

一般的，视频目标跟踪系统通常包括以下几个部分：视频图像采集，运动目标检测，目标跟踪以及行为理解与分析。

如图3.1所示。

图2-1 视频目标跟踪系统通过视频采集设备进行图像采集，并通过A/D转换将视频信号转换成数字图像序列。

运动目标检测是把跟踪场景中发生变化的区域检测出来，并将运动目标从背景图像中提取出来，正确的检测对目标跟踪的后期处理非常重要。

目标跟踪是指在一段序列图像中找出感兴趣的运动目标在连续帧图像中的位置序列，它是目标行为理解与分析的前提；目标行为理解与分析是指对目标模式进行分析识别，并且可以用自然语言等对其进行描述，它属于高级处理部分。

3 设计内容和理论依据运动目标跟踪领域的两个热点算法是Mean Shift算法和粒子滤波算法，本次设计是对这两种算法进行探讨。

针对基于单一颜色模型的Mean Shift跟踪算法易受复杂环境以及相似背景干扰的影响，采用一种基于颜色和纹理特征的Mean Shift跟踪算法，提高跟踪效率。

将改进的Mean Shift算法与粒子滤波算法进行比较。

3.1 基于Mean Shift 的跟踪算法 3.1.1 RGB 颜色直方图RGB 颜色直方图：在运动目标跟踪领域里，颜色直方图是一种典型的描述目标特征的手段，它应用计算和统计学规律，能够反映视频序列帧中颜色的组合结构和比例分布情况，任何一副图像都有与之唯一对应的颜色直方图。

RGB 彩色模型三维坐标系的每个坐标轴分别由R 、G 、B 三基色组成，其中坐标轴最小值为0，最大值为255。

任何一种颜色都能够在这个三维坐标系中找到自己的位置，坐标的原点(0，0，0)表示黑色，而坐标(255，255，255)表示白色。

计算图像颜色直方图的目的是为了获取颜色概率分布图像，因此需要颜色量化过程即将颜色空间划分为若干个小的颜色区间，每个区间称为直方图的一个直方格bin ，然后计算图片颜色落在每个颜色区间内的像素数量就可以得到颜色直方图。

计算直方图的方法可以简单的描述为：给定一个图像的m 区间的直方图，定义图像的像素位置为{}1,...,n i i x =和直方图{}1,...,ˆu m q =，同时给定一个表示像素*i x 的直方图索引为()*i c x 的函数{}2:1,...,c R m →，因此直方图可以用下式计算：()*1ˆnu i i q c x u δ=⎡⎤=-⎣⎦∑ (3-1) 其中将直方图区间的值量化到二维概率分布图像的离散像素范围内可以用下式计算：()1,...,255ˆˆmin ,255ˆmax u u u m p q q =⎧⎫⎛⎫⎪⎪= ⎪⎨⎬ ⎪⎪⎪⎝⎭⎩⎭ (3-2)即直方图区间的值从()0,max q ⎡⎤⎣⎦量化到新的范围[0,255]内。

3.1.2 基于颜色和纹理特征的Mean Shift 跟踪算法颜色是一种有效的视觉特征，它对目标的旋转、物体的遮挡及非刚体变换都比较鲁棒，但是它容易受到光照变化及相似背景颜色的干扰。

因此基于单一特征的跟踪算法很难适应环境的变化，而多特征联合起来可以有效的互补克服单一线索的缺陷。

本文采用基于颜色和纹理特征的Mean Shift 跟踪算法，在对运动目标进行颜色特征匹配之后，进一步进行LBP 纹理统计特征匹配，有效的提高了匹配效率，避免基于单一颜色特征的Mean Shift 跟踪算法易受到光照变化及相似背景颜色干扰的缺点。

用于跟踪的Mean Shift 算法是一种半自动跟踪算法.在跟踪序列的初始帧，通过人工或其他识别算法确定目标窗并构建目标模型；然后，在序列第N 帧对应位置计算候选目标模型；比较两个模型的相似度，以相似度最大化为原则移动跟踪窗，从而定位目标的真实位置。

(3-3)目标定位问题转化为最大化相似度函数)(Y ρ的问题，以前一帧的搜索窗中心0Y 为起始点，将)(Y ρ在0Y 附近Taylor 展开，取前两项。

即：因此要使得)(Y ρ向最大值迭代，只要Y 的搜索方向与梯度方向一致即可，通过求导可得到0Y 的梯度方向。

从而可以推导出Mean Shift 向量：(3-4)其中，1Y 是目标的新中心坐标；)()('x k x g -=，是函数)(x k 的影子核。

通过反复迭代，当Mean-Shift 向量g h H m ⋅，)(0Y g 的模值小于给定常量ε时，则认为完成了目标定位。

3.2 基于颜色特征的粒子滤波跟踪算法粒子滤波是蒙特卡罗方法和贝叶斯估计理论结合的产物，它通过非参数化的蒙特卡罗模拟方法从时域实现递推贝叶斯估计。

粒子滤波算法其思想是利用一系列随机抽取的样本以及样本的权重来计算状态的后验概率密度。

从而实现目标的跟踪。

粒子滤波算法通过状态-空间模型中不断演化的具有权值的粒子来估计目标状态，不用满足系统为线性、噪声高斯分布，适用于任何能用状态空间模型表示的非线性系统,但是基本的粒子滤波算法会出现粒子退化现象，使跟踪的精确性大大降低。

3.2.1 贝叶斯重要性采样在粒子滤波算法中，重要性采样是一个重要环节。

它解决的问题是在随机变量难以采样的情况下，求取随机变量x 的数学期望值。

由前面讨论可知，后验概率密度可由一组采样加权的粒子来近似，但是在实际情况中，后验概率密度是未知的，所以不能直接对后验概率密度采样获得粒子。

要解决这个问题的常见做法是对一个容易获得的建议分布)(:1:0t t z x q 进行采样，于是期望的计算可以转化为：(3-5)其中)(:0t t x w 为重要性权值，计算公式如下：02120101000)(Y H Y X g w H Y X g w X Y Y Y m h i n i ihi n i i i H g h -⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛-=-=∑∑==⋅tt t t t t t tt t t t t t t t t tt t t t t t t t dx z x q z p x w x g dx z x q z x q z p x p x z p x g dx z x q z x q z x p x g x g E :0:1:0:1:0:0:0:1:0:1:0:1:0:0:1:0:0:1:0:1:0:1:0:0:0)()()()( )()()()()()( )()()()()]([⎰⎰⎰===∑∑==+=mu u um u u u Y p q q Y p Y 1010)(21)(21)(ρ(3-6)将)(:0t t x w 代入式(3-5)中可得：(3-7)其中，)(:1:0t t z x q E 表示根据建议分布获得的期望，因此期望()0:t E g x ⎡⎤⎣⎦可以近似表示为：()()()0:0:0:1ˆNi i t t t t i E g x g x w x ==⎡⎤⎣⎦∑% (3-8)式中，0:it x 表示从()0:1:t t q x z 中获得的独立随机样本，()0:i t t w x %表示标准化权值，即()()()0:0:0:1it t it t Nitti w x w x w x ==∑% (3-9)3.2.2 序列重要性采样为了序贯估计后验分布，建议分布的表达式重新写为：()()()0:1:0:11:10:1,1:1t t t t t t t q x z q x z q x x z ----=(3-10)假设状态变量与观测变量相互独立，且遵循一阶马尔科夫过程，则：()()()0:011tt j j j p x p x p x x -==∏(3-11)()()1:0:1tt t j j j p z x p z x ==∏(3-12)重要性权值的递推公式可以表示为：()()()()()10:10:0:11:,t t t t t t t t t t t p z x p x x w x w x q x x z ---=(3-13)上式表明，只要选择合适的建议分布获取采样粒子，就可以递推计算粒子重要性权值。