3．2 基于特征对应的运动估计
• 3.2.1 概述
• 物体的特征描述为能够反映物体物理特 性的点、线、面等。为了保证运动估计 的准确度，选用的特征通常被限制在图 像空间梯度较大的区域内。
• 假设 t 时刻的一个物体点
时刻运动到点
X [ X , Y , Z ]T
在 t/
X' [ X ' , Y ' , Z ' ]T
/Z /Z /Z /Z
x
'
y'
x 0 1 E y 1

P
Q
l'
l
p
e
O
( R , T)
e'
q'
p'
O'
图3.1 极线约束的几何意义
估计运动参数步骤
1．矩阵的估计
2．旋转和平移估计
（1）特征点对应没有噪声影响 （2）特征点对应有噪声影响
3．算法小结
3.6.4 三维运动跟踪
• 基于一组长序列视频图像，三维运动跟
踪用来监视和预测三维场景中物体的运 动和结构变化。
Cs
~ XiCoX来自i (k )YTs
X o (k )
世界坐标系
X
Z
图3.3 三维运动跟踪
• 假设有N帧图像序列的M个特征点对应， 表示为
Yi (k ) y i (k ) n y (k ) Z i (k ) X i (k ) xi ( k ) n x (k ) Z i (k )
i 1
8 '
8
Ax (a) |ae ai
Ay (a) ai |ae
y y y Ay (a) Ay (e) (ai ei )
i 1
Ay (a) Ax (a) 2 8 2 8 FD( x, y) |ae |ae (ai ei ) (ai ei ) x i 1 ai ai y i 1
，且旋转中心位
于坐标原点，则刚性物体的三维运动模型
为
X ' X r1 ' Y T r Y R 4 Z ' Z r7 r2 r5 r8 r3 X TX Y T r6 Y r9 Z TZ
• 当进行小角度旋转时，旋转矩阵可近似 为
1 R Z Y Z 1
X
Y X
1
3.2.2 最小二乘估计
• 用于估计模型参数时，最小二乘估计不需
要任何估计参数的概率统计特性，根据一 组观察数据就可直接求解模型的参数。
• 最小二乘估计的表达式为
精品课件！
精品课件！
• 若用Kalman滤波器来进行运动跟踪，可 定义状态变量
z (k ) X (k ), V (k ), A (k ), q (k ), Ω (k ), X (k ),...,X (k )
T o T o T o T T T 1 T M


T
转化为矩阵形式
FD( x, y) H (a e)
3．5 运动目标分割
• 3.5.1 概述
• 三维场景中通常包含多个运动物体，运动分 割就是将视频序列中属于各个不同运动的像 素标记出来。运动分割是视频处理的重要内 容之一，也是研究的热点问题。
3.5.2 直接分割法
1．区域分割
2．区域建模和运动估计
a1 x a2 y a3 x ' Ax (a) a7 x a8 y 1 ' A (a) a x a y a 5 6 y y 4 a7 x a8 y 1
x x ' x Ax (a) Ax (e) (ai ei )
透视投影下的运动估计 平面模型
3．4 直接运动估计
• 3.4.1 概述
• 通常光流矢量都由图像的梯度估计得到，如 果用图像梯度替换光流矢量， 3.3 节中的方法 通常可以推广到直接运动估计中。下面介绍 一种基于平面模型的直接运动估计算法。
3.4.2 平面模型
• 平面模型下各像素的位移映射为
3.2.5 平面模型下的运动估计
a1 x a 2 y a3 a x a y 1 x' 7 8 ' a x a y a 5 6 4 y a 7 x a8 y 1
1．纯参数的估计
2．运动和结构参数估计 （1）奇异值互不相同 （2）如果奇异值中有两个相等 （3）若三个奇异值都相等
图3.2 基于块的运动区域分割
3.5.3基于光流的分割法
1. 聚类法
2. 分层法 3. 贝叶斯分割法
（1）基本问题 （2）Murray和Buxton算法
3.5.4同时进行运动分割 和运动估计的方法
1．基本问题
2．两步迭代法
给定分割场和每个区域的模型参数，更新光
流场。
给定光流场，更新分割场和每个区域的模型
T 1 T ˆ θ (c c) c x
3.2.3 正交投影下的运动估计
1．两步迭代法
2．改进的两步迭代法
3.2.4 透视投影下的运动估计
• 在透视投影下，点X到X/ 的运动场为非线性投
影模型
r1 x r2 y r3 TX x ' r7 x r8 y r9 TZ ' r x r y r T 5 6 Y y 4 r7 x r8 y r9 TZ
3．3 基于光流的运动估计
• 3.3.1 概述
• 基于光流的运动估计包括以下两个步骤：
估计二维图像的光流场；
根据光流和光流参数模型估计三维运动参数 和结构参数。
• Ω和V是基于光流的估计方法中需要估
计的三维运动参数。矢量形式为
Ω X V X
基于光流的运动估计方法
正交投影下的运动估计
参数。
3. 6 运动目标跟踪
3.6.1 概述
1．运动模型
（1） 二维运动模型
（2） 三维运动模型
2．观察模型
3．跟踪方法
3.6.2 Kalman滤波器
1. Kalman滤波器
2. 扩展的Kalman滤波器
3.6.3 二维运动跟踪
1．二维点跟踪
2．二维线段跟踪
3．二维区域跟踪
（1） 运动滤波器 （2） 几何滤波器