目标检测目标跟踪报告
• 利用有效片的概念,我们为每个目标建立两种模板 ,临时模板和参考模板。
• 临时模板—实时更新的模板,在无遮挡情况下跟
踪,可以解决目标外观缓慢变化的问题。
• 参考模板—能够很好的表示目标的模板,用于遮
挡情况下的跟踪。
分片跟踪
•多组实验结果:
1.可以有效的解决目标遮挡 2.在目标表现模型缓慢变化的情况下,实时更新模板 3.在背景较为简单的情况下实现目标尺度的更新
(a)实验序列1
(b)固定阈值二值化
(c)高斯模型分割
(d)自适应值 MRF分割
MRF运动目标分割结果二
(a)实验序列2
(b)固定阈值二值化
(c)高斯模型分割
(d)自适应值 MRF分割
报告内容
•1 •全局运动估计 •2 •马尔可夫随机场分割 •3 •运动目标分片跟踪 •4 •车辆检测与跟踪 •5 •图像超分辨率重
车辆检测与跟踪概述
智能交通系统: ( Intelligent Transport Systems, ITS)
车辆检测与跟踪概述
影响车辆检测和跟踪的主要因素: (1)车辆自身阴影; (2)车辆间相互遮挡或车辆被背景中物体遮
挡; (3)同车型车辆之间具有较大的相似性; (4)光线突变; (5)夜晚和雨、雪等恶烈天气等。 主要针对(1)、(2)两种情况开展研究
静态场景 目标检测相对简单,研究渐趋成熟 动态场景 相对复杂,成为当前研究领域的热点
静态场景帧差的一个例子
视频序列运动检测
• 对于动态场景,由于目标与摄像头之间存在复杂的
相对运动,运动检测富有挑战性。传统的帧差方法 已经不再适用,如何能对全局的运动进行估计和补 偿,成为问题的关键。
第一帧
帧差图像
解决思路
基于码本模型的运动目标检测方法
➢ 码本方法:
计算聚类均值和样本与它的距离,不涉及概 率运算,运算速度较快;
码本方法能处理高亮和阴影问题,而且训练 时允许有前景运动目标。
该算法具有较强的鲁棒性,能实现对运动目 标较好的检测。
基于码本模型的运动目标检测方法
原码本算法对RGB空间的视频序列, 已具有较好的检测效果,有一些不足 之处:
➢ Step2 输入像素点和码本做比较判断,得到可能的 前景像素点,同时更新码本。
➢ Step3 去除可能前景像素点中阴影和高亮区域,得 到真实的前景点,同时更新码本。
➢ Step4 去噪,连通区域分析,根据检测出的运动目 标的长宽消除非车辆目标,将运动车辆分割出来 。
➢ Step5 使用卡尔曼滤波器预测车辆在下一帧中的 可能位置。
基本步骤如下:
• 用高斯图像构造法构造图像金字塔; • 对金字塔顶层图像进行全局运动估计,求得运动参数; • 将顶层金字塔求得的参数集隐射到金字塔的中间层,并对
该层进行全局运动估计,求得相应的运动参数;
• 将金字塔中间层的参数集映射到金字塔的底层, 对该层进行
全局运动估计,求得该层的运动参数集,即最终求得的参数
• Gibbs分布可定义成如下公式:
•图像上每一点的概率分布
• 对于一帧CIF图像,存在一系列的像素点 ,对于
这些点存在一标记场和事先观察场 ,这样马尔可
夫随机场的运动目标分割的问题可以归结为在事先
观察场和其它一系列约束条件下,确定运动目标区 域和背景区域的二值标记问题。
MRF运动目标分割结果一
基于码本模型的运动目标检测方法
➢ Kim K , Proceedings of IEEE International
Conference on Image Processing ;2004
➢ 算法是利用量化和聚类技术来构建背景模型;
➢ 针对彩色监控视频,对背景中的每一个像素点进行
一段时间的采样,采样值聚类成码本的形式,码 本就代表了背景模型。 运动检测时,对新输入的像素值与其对应码本做 比较,如果能找到与其匹配的码字,则认为该像素 点为背景点,否则为前景点。
跟踪结果
(a)序列第168帧跟踪结果(b)序列第182帧跟踪结果 (c)目标质心在x方向的坐标 (d)目标质心在y方向的坐标
跟踪结果与粒子滤波方法比较
(a)粒子滤波第40帧 (b)粒子滤波第60帧
(c)粒子滤波第88帧
(d)粒子滤波第100帧
跟踪结果与经典CamShift方法比较
(a)CamShift第40帧(b)CamShift第60帧 (c)CamShift第88帧 (d)CamShift第100帧
• 要检测动态场景中的运动目标,关键在于对场景的
运动进行估计,通过估计出的运动参数补偿其运动 ,最后使用帧差法得到运动目标。
•前一帧图像 •提取特征点 •后一帧图像 •提取特征点
•运动补偿
•帧差法
•特征点匹配
•最小二乘求 •运动参数
•运动目 标
•求特征 点并匹
配 •前 一 帧
•后 一 帧
•运动补 偿
利用形态滤波对分割结果进行修正,较好地解决了 分割不准确,目标信息丢失的问题。
基于MRF的运动目标分割
• 马尔可夫随机场是把一维因果马尔可夫链扩展成二 维的结果,Hammersley-Clifford定理指出了 MRF和Gibbs分布之间的等价性,每个MRF都可 以用一个Gibbs分布来描述,这样就解决了MRF 概率难求的问题。
跟踪结果比较
(a)本文方法第40帧 (b)本文方法第60帧
(c)本文方法第88帧
(d)本文方法第100帧
车辆检测与跟踪
包括以下两方面内容:
• 基于码本更新的检测与跟踪方法 • 基于轮廓匹配的检测与跟踪方法
背景
传统视频检测车流量统计主要采用车辆检测和跟踪技 术相结合的方法,算法复杂且容易受到外界干扰影响,
建
分片跟踪
•为什么引入分片跟踪:
在目标跟踪领域,一个重要的难题就是目标的遮 挡问题,因为遮挡发生时目标可能部分或全部不可见。
模拟人眼跟踪目标的方式,发生遮挡时,人眼会关 注目标的可见部分来继续跟踪。受这一思想启发,我们 将目标分成多个小片,目标被遮挡时,利用“可见片” 来跟踪。
分片跟踪
•主要思想:
法,该方法直方图阈值法不需要先验信息,计算量 较小,但缺点是单独基于颜色分割得到的区域可能 是不完整的,而且没有利用局部空间信息,分割不 准确。
马尔可夫随机场分割
• 目前基于马尔可夫随机场随机场(MRF)运动
目标分割的方法在图像分割领域影响越来越大,该 方法与传统方法和阈值法相比,由于基于MRF的 运动目标分割方法同时考虑了图像颜色信息和空间 关联信息,因此分割效果较好。
➢ Step6 在预测区域周围对各个车辆进行匹配跟踪。 转Step2,进行下一轮跟踪。
夜晚车辆检测结果
普通路面检测结果
• (a)序列某一帧
(b)混合高斯模型检测结果
• (c)Bayes 决策检测结果 (d)本方法检测结果
高速公路检测结果
• (a)序列某一帧
(b)混合高斯模型检测结果
• (c)Bayes 决策检测结果 (d)本方法检测结果
• 遮挡下的跟踪
分片跟踪
分片跟踪
• 目标表现模型的变化时的跟踪
• 目标尺度发生变化
报告内容
•1 •全局运动估计 •2 •马尔可夫随机场分割 •3 •运动目标分片跟踪 •4 •车辆检测与跟踪 •5 •图像超分辨率重
建
车辆检测与跟踪
包括以下两方面内容:
• 基于码本更新的检测与跟踪方法 • 基于轮廓匹配的检测与跟踪方法
➢ 视频采集设备,如网络摄像机、DV和图像采集卡
等采集的视频序列大多是YUV格式的,如果要在 RGB空间做运动检测,则需要进行从YUV空间到 RGB空间的转换,而该转换运算为浮点型运算, 运算量大;
➢ 原算法在RGB空间进行阴影处理时,需要做浮点
型运算,进一步加大了运算量。
基于改进码本的车辆检测实现
•求解全局运动 •参数
•补偿后的帧差图像
实验结果与普通帧差法的比较
•原序列
•帧差法
•特征匹配的方法
•第 5 帧
•第 50 帧
•第 80 帧
基于图像金字塔分解的全局运动估计
• 采用了3层金字塔进行多分辨率计算,而且在每层迭
代计算中,将基于块的外点去除算法与特征点提取 算法相结合,这样既加快了算法的速度,又提高了计 算结果的准确性。
辆的跟踪。
➢ 利用前一帧获得的参数作为Kalman滤波的状态变
量,当前帧获得的参数作为观测值,通过Kalman 滤波推导获得估计值。
以估计值为中心进行目标匹配,如果能匹配上则 认为是当前运动目标,如果匹配不上则认为出现 了遮挡,使用Kalman对其位置进行预测。
算法步骤
➢ Step1 背景模型训练,得到表示初始背景模型的码 本。
:
能处理复杂、非静止的多模态背景,但它不能适应快速的 背景变化,对噪声变化比较敏感;
➢基于内核密度估计( kernel density
estimation,KDE)的非参数背景模型:
需要大量内存来存储先前的数据,需要很高的计算开销;
➢基于Bayes 决策的方法:
在场景比较复杂或前景与背景颜色比较接近时• 运动目标的准确分割,对于获取目标的特征信
息非常重要,直接影响到进一步的运动目标跟踪的 处理,传统的运动目标分割的算法主要有背景差分 ,相邻帧间差分,光流场的方法,这些方法都有各 自的缺点和不足,不能满足准确分割运动目标的要 求。
• Ohlander等提出了一种多维直方图阈值化分割方
标可以认为是一个独立的连通域,本文采用基于连
• 另外,MRF参数 选取的好坏会直接影响到分
割结果,Smits等研究雷达图像分割时表明,马尔 可夫参数如果较大容易形成较长的边缘,较小容易