13
HFUT-TI DSP United Lab
马尔可夫随机场分割
•
目前基于马尔可夫随机场随机场（ 目前基于马尔可夫随机场随机场（MRF）运动 ） 目标分割的方法在图像分割领域影响越来越大， 目标分割的方法在图像分割领域影响越来越大，该 方法与传统方法和阈值法相比，由于基于MRF的 方法与传统方法和阈值法相比，由于基于 的 运动目标分割方法同时考虑了图像颜色信息和空间 关联信息，因此分割效果较好。 关联信息，因此分割效果较好。
车辆检测与跟踪概述 智能交通系统： 智能交通系统： ( Intelligent Transport Systems, ITS)
12
HFUT-TI DSP United Lab
• Ohlander等提出了一种多维直方图阈值化分割方 等提出了一种多维直方图阈值化分割方
法，该方法直方图阈值法不需要先验信息，计算量 该方法直方图阈值法不需要先验信息， 较小,但缺点是单独基于颜色分割得到的区域可能 较小 但缺点是单独基于颜色分割得到的区域可能 是不完整的，而且没有利用局部空间信息， 是不完整的，而且没有利用局部空间信息，分割不 准确。 准确。
原序列 帧差法 特征匹配的方法
第 5 帧
第 50 帧
第 80 帧
7
HFUT-TI DSP United Lab
基于图像金字塔分解的全局运动估计
• 采用了 层金字塔进行多分辨率计算 而且在每层迭 采用了3层金字塔进行多分辨率计算 层金字塔进行多分辨率计算,而且在每层迭
代计算中,将基于块的外点去除算法与特征点提取 代计算中 将基于块的外点去除算法与特征点提取 算法相结合,这样既加快了算法的速度 这样既加快了算法的速度,又提高了计 算法相结合 这样既加快了算法的速度 又提高了计 算结果的准确性。 算结果的准确性。
15
HFUT-TI DSP United Lab
• 因此，我们提出一种基于自适应权值的区域马尔可 因此，
夫随机场的分割方法，结合分水岭预分割算法， 夫随机场的分割方法，结合分水岭预分割算法，并 利用形态滤波对分割结果进行修正， 利用形态滤波对分割结果进行修正，较好地解决了 分割不准确，目标信息丢失的问题。 分割不准确，目标信息丢失的问题。
14
HFUT-TI DSP United Lab
•
另外， 另外，MRF参数 β 选取的好坏会直接影响到分 参数 割结果， 等研究雷达图像分割时表明， 割结果，Smits等研究雷达图像分割时表明，马尔 等研究雷达图像分割时表明 可夫参数如果较大容易形成较长的边缘， 可夫参数如果较大容易形成较长的边缘，较小容易 形成微边缘， 形成微边缘，而固定的马尔可夫参数则使目标的轮 廓模糊，对分割出的目标准确判断产生不利影响。 廓模糊，对分割出的目标准确判断产生不利影响。
19
HFUT-TI DSP United Lab
MRF运动目标分割结果一
（a）实验序列 ）实验序列1
（b）固定阈值二值化 ）
（c）高斯模型分割 ）
20
（d）自适应值 β MRF分割 ） 分割
HFUT-TI DSP United Lab
MRF运动目标分割结果二
（a）实验序列 ）实验序列2
（b）固定阈值二值化 ）
29
HFUT-TI DSP United Lab
分片跟踪
• 遮挡下的跟踪
30
HFUT-TI DSP United Lab
分片跟踪
• 目标表现模型的变化时的跟踪
31
HFUT-TI DSP United Lab
• 目标尺度发生变化
32
HFUT-TI DSP United Lab
报告内容
1 2 3 4 5
目标 分片
当前帧
候选目标位置 搜索窗口 上一帧目标位置
24
HFUT-TI DSP United Lab
分片跟踪
其中相似度的度量是通过各片的空间直方图匹配来实现的。 其中相似度的度量是通过各片的空间直方图匹配来实现的。 确定目标位置后，判断目标中各片的有效性， 确定目标位置后，判断目标中各片的有效性，我们仅利用 有效片进行下一帧的跟踪。 有效片进行下一帧的跟踪。
26
HFUT-TI DSP United Lab
• 目标外观变化时片匹配的情况
外观缓慢变化 时，丢失的片 很少
27
HFUT-TI DSP United Lab
• 利用有效片的概念，我们为每个目标建立两种模板， 利用有效片的概念，我们为每个目标建立两种模板，
临时模板和参考模板。 临时模板和参考模板。 • 临时模板 实时更新的模板，在无遮挡情况下跟 临时模板—实时更新的模板 实时更新的模板， 可以解决目标外观缓慢变化的问题。 踪，可以解决目标外观缓慢变化的问题。 • 参考模板 能够很好的表示目标的模板，用于遮 参考模板—能够很好的表示目标的模板 能够很好的表示目标的模板， 挡情况下的跟踪。 挡情况下的跟踪。
运动补偿
前一帧图像
帧差法
提取特征点 特征点匹配 最小二乘求 运动参数 运动目标
后一帧图像
提取特征点
5
HFUT-TI DSP United Lab
求特征 点并匹 配 前 一 帧
运动补 偿
后 一 帧
求解全局运动 参数
补偿后的帧差图像
6
HFUT-TI DSP United Lab
实验结果与普通帧差法的比较
该层进行全局运动估计，求得相应的运动参数； 该层进行全局运动估计，求得相应的运动参数； 将金字塔中间层的参数集映射到金字塔的底层, 将金字塔中间层的参数集映射到金字塔的底层 对该层进行 全局运动估计，求得该层的运动参数集,即最终求得的参数 全局运动估计，求得该层的运动参数集 即最终求得的参数 集。 利用求得的最终参数集，对图像进行运动补偿， 利用求得的最终参数集，对图像进行运动补偿，将运动补 偿后的图像与前一帧图像进行差值。 偿后的图像与前一帧图像进行差值。
•
同时具有广泛的应用价值。 同时具有广泛的应用价值。 依照目标与摄像头之间的关系：
静态场景 动态场景 目标检测相对简单， 目标检测相对简单，研究渐趋成熟 相对复杂， 相对复杂，成为当前研究领域的热点
静态场景帧差的一个例子
3
HFUT-TI DSP United Lab
视频序列运动检测
• 对于动态场景，由于目标与摄像头之间存在复杂的
17
HFUT-TI DSP United Lab
•
Gibbs分布可定义成如下公式： 分布可定义成如下公式： 分布可定义成如下公式
−U( z=w) 1 T p(z) = ∑e δ (z − w) Qw
图像上每一点的概率分布
U ( z ) = ∑ Vc ( z ( x) | xε C )
cε Cቤተ መጻሕፍቲ ባይዱ
18
HFUT-TI DSP United Lab
• 对于一帧 图像，存在一系列的像素点 ，对于 对于一帧CIF图像 图像，
这些点存在一标记场和事先观察场 ，这样马尔可 夫随机场的运动目标分割的问题可以归结为在事先 观察场和其它一系列约束条件下， 观察场和其它一系列约束条件下，确定运动目标区 域和背景区域的二值标记问题。 域和背景区域的二值标记问题。
在目标跟踪领域， 在目标跟踪领域，一个重要的难题就是目标的遮 挡问题，因为遮挡发生时目标可能部分或全部不可见。 挡问题，因为遮挡发生时目标可能部分或全部不可见。 模拟人眼跟踪目标的方式，发生遮挡时， 模拟人眼跟踪目标的方式，发生遮挡时，人眼会关 注目标的可见部分来继续跟踪。受这一思想启发， 注目标的可见部分来继续跟踪。受这一思想启发，我们 将目标分成多个小片，目标被遮挡时，利用“可见片” 将目标分成多个小片，目标被遮挡时，利用“可见片” 来跟踪。 来跟踪。
11
HFUT-TI DSP United Lab
目标分割的意义与现状
•
运动目标的准确分割， 运动目标的准确分割，对于获取目标的特征信 息非常重要， 息非常重要，直接影响到进一步的运动目标跟踪的 处理，传统的运动目标分割的算法主要有背景差分， 处理，传统的运动目标分割的算法主要有背景差分， 相邻帧间差分，光流场的方法， 相邻帧间差分，光流场的方法，这些方法都有各自 的缺点和不足，不能满足准确分割运动目标的要求。 的缺点和不足，不能满足准确分割运动目标的要求。
9
HFUT-TI DSP United Lab
下图给出了运动补偿与直接帧差的结果比较
图1
Coastguard序列图像 序列图像
图2
10
直接帧差和运动补偿后的差值图比较
HFUT-TI DSP United Lab
报告内容
1 2 3 4 5
全局运动估计 马尔可夫随机场分割 运动目标分片跟踪 车辆检测与跟踪 图像超分辨率重建
23
HFUT-TI DSP United Lab
分片跟踪
•主要思想：
将目标分片，建立目标分片表现模型（模板）。在目 将目标分片，建立目标分片表现模型（模板）。在目 ）。 标上一帧的位置周围遍历搜索， 标上一帧的位置周围遍历搜索，找到与目标模板相似度最 高的候选目标作为跟踪结果。 高的候选目标作为跟踪结果。
16
HFUT-TI DSP United Lab
基于MRF的运动目标分割 的运动目标分割 基于
• 马尔可夫随机场是把一维因果马尔可夫链扩展成二
维的结果， 维的结果，Hammersley-Clifford定理指出了 定理指出了 MRF和Gibbs分布之间的等价性，每个 分布之间的等价性， 和 分布之间的等价性 每个MRF都可 都可 以用一个Gibbs分布来描述，这样就解决了 分布来描述， 以用一个 分布来描述 这样就解决了MRF 概率难求的问题。 概率难求的问题。
（c）高斯模型分割 ）
21