光流法
• 为了得到好的检测结果，找到有效的背景估计方法来生成背景图像便 成为背景差分法的核心。在实际应用中，当背景光照变化比较明显时， 仍有新的问题需要解决，主要的两个问题是:背景图像的获取和背景图 像的更新 • a)背景图像的获取:背景图像的获取的理想情况是在没有运动目标的 情况下直接获取，但是现实中由于外界光线的变化、摄像机的扭动偏 转等，很难使背景中没有运动目标，因此增加了获得背景图像的难度。 • b)背景模型的更新:一般情况下，场景中的背景图像不会没有任何变 化，因此为了使检测与跟踪目标更准确，需要经常更新背景图像，以 适应场景的变化。 • 背景差分法中，构建的背景模型与真实场景的符合度会影响检测的准 确性。最简单的获取背景方法是采集一幅场景中没有运动目标的图像 作为背景，但该方法只适用于场景比较简单或者变化较小的场合，所 以人们就对如何动态的构建背景模型以及实时的更新背景模型进行了 大量的研究。常用的方法有:统计平均法、Surendra背景更新算法、 混合高斯模型法等。
• 静态场景下运动目标跟踪就是摄像机在整个监视过程中不发生移动， 只有 被监视目标在场景中移动；针对运动目标检测与跟踪关键技术问 题展开了研究，在认真总结前人研究成果的基础上，深入分析与探讨 了目前运动目标检测与跟踪算法研究领域所面临的主要问题。论文主 要针对两个关键技术展开研究，一是运动图像分割，二是基于粒子滤 波的运动目标跟踪。 • 在实际环境中，由于视觉信息非常丰富，并且存在着背景光线变化、 观测 视角变化、运动目标移入移出、目标物相互遮挡等问题，使得视 频跟踪算法面 临着多种挑战。视频跟踪算法必须要能够适应这些复杂 场景变化，并且能从这 些外在变化导致的跟踪失误中恢复过来，这就 对跟踪算法的鲁棒性及准确性提 出了很高要求，除此之外，跟踪算法 也应该具备良好的实时性，这样才能实时 处理连续的视频流信息，跟 踪的实时性也是现阶段一个研究热点。努力研究一 种具有良好鲁棒性、 准确性、实时性并具有良好可移植性的视频跟踪算法成为 了人们共同 努力的方向。
光照亮度的渐变和轻微噪声干扰问题没有很好的解决方法， 适应周围环 境中的性能比较差。自然界光线和灯光的亮 度是在不断变化的，但是人眼一般感觉不到这种光线亮度 的微笑变化，但是在运用机器对场景中运动目标进行检测 的过程中对这种情况非常敏感，会严重的影响检测结果 需要有运动目标的有效分类。从背景中有效的识别出运动 物体是运动目标检测的关键。如果没有应用正确的目标识 别的方法，则就会导致检测与跟踪过程中目标丢失或出现 虚假跟踪目标现象。所以，运动目标的有效分类问题必须 得到有效的解决，这是提高跟踪算法的有效性的关键技术。
运动目标检测的相关技术
1
2 3 光流法
帧间差方法
背景差方法
运动目标检测
利用序列图像在时间和空间上的冗余信息，将场景中的运 动目标从背景中分离出来。主要困难在于光照变化、背景物运 动干扰、运动目标阴影以及摄像机运动等干扰因素。
•
• 主要方法：
帧间差法 光流法 背景减除法
光流法
• 其基本原理是:给图像中的每一个像素点赋予一个速度矢量，这就形成 了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体 上的点一一对应，根据各个像素点的速度矢量特征对图像进行动态分 析，如果图像中没有运动目标，则光流矢量在整个图像区域是连续变 化的，当物体和图像背景存在相对运动时，运动物体所形成的速度矢 量必然和邻域背景速度矢量不同，从而检测出运动物体的位置。 • 光流法是通过计算图像的光流场实现运动目标检测的一种方法。所谓 光流场是指空间运动物体被观测表面上的像素点运动产生的瞬时速度 场,一个二维的速度场，包含了物体表面结构和动态行为的重要信息。 光流法的核心是求解出运动目标的光流，即速度。
二国内外研究现状
视觉跟踪是在 20世纪 50年代从统计模式识别开始的，当 时的工作主要集中在二维图像的分析和识别上; 60年代Roberts(1965)通过计算机程序从数字图像中提取 出诸如立方体楔形体棱柱体等多面体的三维结构，并对物 体形状及物体的空间关系进行描 述; 70年代，已经出现了一些视觉应用系统; 80年代至今运动目标的视觉跟踪已经成为计算机视觉研 究领域中的一个十分重要的理论框架 如今，视觉跟踪技术已经成为机器人技术计算机视觉等领 域研究的热点之一
现状
• 运动目标检测与跟踪是在基于动态图像分析的基 础上结合图像模式识别和图像跟踪方法对图像序 列中的目标进行检测—识别—跟踪的过程，它是图 像处理与计算机视觉领域中的一个非常活跃的分 支，在最近二十几年间，随着计算机技术、CLSI 技术与高分辨率传感技术，图像处理技术的迅速 更新，它在国名经济和军事领域的许多方面有着 广泛的应用。 • 人们对运动目标检测与跟踪系统的稳定性、鲁棒 性提出了很高的要求。
应用
1
军事公安方面的应用：在军事方面主要用于导弹的精确制 导，可疑目标的检测与跟踪公安业务图片的判读分析，指 纹识别，人脸识别，不完整图片的复原，以及智能交通监 控、事故分析等。
2
工业方面的应用：具备视觉、听觉和触觉功能的智能机器 人的成功应用。
3 4
生物医学工程方面的应用：各种细胞的运动分析检测和判 别 智能交通方面：通过对道路交通情况的实时监控，利用图 像处理技术对各种情况作出准确的判断。
研究难点
经历了几十年的发展，尽管人们对视觉跟踪的研究有 了突飞猛进的进展，但是由于图像映射成图像信息的 丢失图像的噪声干扰目标运动的复杂性(尤其是对人的 跟踪中，关于行为事件状态有着不同的概念)，目标的 非刚体或链接特性目标的部分或全部遮挡目标形状的 复杂性场景光照的变化实时处理的要求等，都使得对 目标进行有效跟踪变得异常困难其中运动的分割遮挡 的处理建模与跟踪多摄像机的使用性能的评估( 鲁棒 性准确性和快速性)依然是今后研究的热点和难点问题。
•
•
• 归纳起来，运动场景中目标检测与跟踪技术主要包括以下 三个关键技术： 背景补偿与图像预处理：消除背景运动、随机噪声对目标 检测与跟踪的影响。 图像分割与目标检测：利用图像分割技术从图像中检测出 可能的运动目标。 特征提取和目标跟踪：对检测出的目标提取可识别的特征， 依据这些特征在后续的视频图像序列中对目标进行跟踪。
静态场景下运动目标检测与跟踪 的关键技术研究
主讲人：崔雪梅 2014.1.3
Contents
1 2 3 4
选题目的和意义 国内外研究现状 主要研究内容和研究方法 课题工作计划与方案
一.选题目的和意义
运动目标检测与跟踪是计算机视觉研究的 主要问题之一，融合了图像处理、模式 识别、自动控制、人工智能以及计算机 等许多领域的先进技术，
1
运动目标检测问题研究
• 运动目标检测是把目标从图像序列中将变化区域从背景图 象中提取出来的一种方法。本文要分析各种算法的优缺点， 然后结合算法的优点进行运动目标的检测，取得良好的检 测效果，
三.研究的主要内容
目标跟踪研究
2
• 目标跟踪是针对图像序列中运动对象的时空变化进行监 控，包括运动对象的存在的位置、大小和形状等。本文运 用了粒子滤波进行跟踪，由于粒子滤波存在样本退化和样 本枯竭的现象，为了改进其跟踪的性能，本文采用了改进 的粒子滤波跟踪算法，通过改进建议分布来提高跟踪的效 率，对其进行研究，增加跟踪的可靠性。
•
对于不同的应用环境、图像类型和性能要求，都有各自不 同的跟踪方法，而不同的跟踪算法往往是针对不同的目标 特征描述来设计的。目前，绝大多数算法都是针对某类问 题提出的，适合于任何环境或任何跟踪条件的通用的算法 不存在。
运动目标检测
利用序列图像在时间和空间上的冗余信息，将 场景中的运动目标从背景中分离出来。主要 困难在于光照变化、背景物运动干扰、运动目标 阴影以及摄像机运动等干扰因素。
第k-1帧 差分运算 第k帧 二值化 连通处理
检测判断
运动图像分割
• 运动图像分割就是把运动目标从复杂的背景提取出来，是运动图像处 理过程的前期阶段，当然分割算法的好坏不仅取决于算法自身，还应 该根据不同的场景选择适合的算法，也是非常重要的。
• 主要方法：
均值法
中值法
单高斯模型
• 混合高斯模型是背景建模中研究最广泛的方法之一。传统 的混合高斯模型是建立在RGB色彩空间基础上的，本文采 用的是SHV色彩空间模型，并为每个像素点建立x个(一般 3-5)高斯模型，根据每个高斯模型权重的不同，进行自适 应更新。
5
体育方面的应用：对运动员在比赛或者是训练中的技术动 作的视频进行分析，得出精确的运动参数进行分析。
1
选题目的和意义
1
选题目的和意义
1 1
选题目的和意义 选题目的和意义
• 目前国内外有很多机构和学者对基于计算机视觉的运动物 体检测和跟踪方法进行研究。近些年来出现了基于卡尔曼 滤波和基于粒子滤波的跟踪算法。这些跟踪算法是通过计 算机，在比较复杂的场景中自动检测出运动物体，同时对 其进行跟踪，这种技术有着非常广泛的应用前景和极其重 要的实践意义。虽然在该领域己经取得了一定的成绩，但 同时在该领域也存在研究对象场景复杂且研究内容需要涉 及多种学科的现象，所以目前还存在很多的研究难点，例 如:
机器人 视频压缩 医疗诊断 人机交互 智能视频监控
统计数据显示，英国目前有400多万个摄像机，而伦敦的 居民平均每个人每天要被摄像机拍摄300次。 公安部主导的“平安城市”计划，促进了视频监控市场的 迅速增长，全国约有200万个监控摄像机用于城市监控与 报警系统。
青藏铁路全线1300路通道采用视频分析，对全线铁路进行 入侵保护。
帧间差分法
• 帧间差分法是将连续两帧或者几帧图像进行比较，采用基 于像素的时间差分并且阈值化来提取运动目标信息进而实 现目标检测
第k-1帧
差分运算
第k帧
二值化
连通处理
检测判断
背景差分法
• 背景差分法的原理是:用检测之前获取的背景图像帧对每 个像素进行统计建模，构建背景模型，再将当前图像帧与 背景模型进行差分运算，并对得到的差分图像进行二值化， 根据确定的阂值计算出当前图像帧中与背景模型值相差较 大的像素点，并判断此像素是否为目标上的点，从而可得 到较完整的目标信息。