2 T T
W
F I tr （ F I ）
2．3 基于像素的运动估计
• 2.3.1 位移帧差
• 定义像素x从t1时刻到t1+dt时刻的位移帧差为：
e ( x , d ) ( x d , t1 d t ) ( x , t1 )
2
(x d ) 1 (x)
) (
2
v y x
) (
2
v y y
)
2
迭代更新公式
vx
( l 1)
vx
(l )

x
x ws
vx
(l )

y
2
vy
(l )

t
2
x
(l )
y
(l )
vy
( l 1)
数字视频处理
黎洪松 主编 北京邮电大学出版社
第2章 二维运动估计
• 2．1概述
• 根据摄象机和目标物体的运动状态,运动 可分为：摄像机不动物体不动，摄像机 不动物体动，摄像机动物体不动和摄像 机动物体动4种。
2.1.1几个基本概念
• 1．时间序列图像
• 运动估计主要是研究空间中的物体运动
情况。为了观察物体的运动，人们将摄
vy
(l )

y
x ws
vx

y
2
vy

t
2
x
y
2.2.4 有向平滑约束
• 有向平滑约束可表示为
e ds ( v ) ( v x ) W ( v x ) ( v y ) W ( v y )
• 投影运动：
a 0 a1 x a 2 y x ( x, y) 1 c1 x c 2 y x b b x b y ( x, y) 1 2 0 y y 1 c x c y 1 2
d d
• 仿射运动：
2.4.2 相位相关法
• 相位相关法广泛用于图像配准，即两幅图像 只发生全局平移的情况。假设两帧图像 和
2 (x)
1
(x)
之间只是纯平移关系，有
1 (x) 2 (x d )
• 互相关函数为
C 1, 2 ( f x , f y ) 1 ( f x , f y ) 2 ( f x , f y )
差函数求解运动矢量di。
• 邻域B(xi)上的误差函数可表示为
E (d i ) 1 2

w ( x )(
2
(x d i ) 1 (x ))
2
xB ( x i )
• 误差函数关于运动矢量的梯度为
E (d i ) d E d
i


w ( x ) e ( x , d i ) x
3．运动估计的基本问题
• 由摄像机模型知道，摄像机的投影过程
是不可逆的，投影过程中将不可避免地
丢失一些有用信息，例如物体的深度信
息等，因此估计物体的真实运动和结构 是比较困难的。
O
X
x Y
y
p ( x, y )
(x, y )
p' ( x' , y ' )
P ' ( X ' ,Y ' , Z ' )

xB

xB
w (x) x y w (x) y y
1


xB

xB
w (x ) x t w (x ) y t
2.2.3 运动平滑约束
• 目标误差函数为
t dt
x
t
t dt
x
d(x, t; t dt )
x
d(x, t; t dt )
前向运动估计
图2-3 前向运动估计和后向运动估计
二维运动估计存在几个问题：
1. 遮挡问题，即图像中的某些像素可能不存在
对应点。
2. 孔径问题，也称为多义性问题。
3. 噪声问题，在生成视频图像的过程中，噪声
中一个同样大小的块
1 ( x ) | xB 2 ( x d )
1 ( x)
(a)非重叠块
2 ( x)
1 ( x)
(b)重叠块
2 ( x)
图2-10块平移模型
2．可变形块运动模型
• 可变形块运动模型可以对物体的旋转、
缩放、变形等建模。块的运动参数不再 是简单的一个平移参数，而是一些空间 变换参数，常用的可变形块运动模型有 投影运动、仿射运动、双线性运动等。
x 1 4

( m 1, n , k ) ( m , n , k ) ( m 1, n 1, k )
( m , n 1, k ) ( m 1, n , k 1 ) ( m , n , k 1 ) ( m 1, n 1, k 1 ) ( m , n 1, k 1 )
是不可避免的。
2.1.3 二维运动模型及估计方法
• 为了有效地进行运动估计，需要对真实
运动施加一些约束条件，即对运动建模。 我们可以将二维运动模型粗略地分为参
数模型和非参数模型。
(a) (b) (c) (d)
(a)基于像素的运动; (b)基于块的运动; (c)全局运动; (d)基于区域的运动
图2-6
t

1 4

( m , n , k 1 ) ( m , n , k ) ( m 1, n , k 1 )
( m 1, n , k ) ( m , n 1, k 1 ) ( m , n 1, k ) ( m 1, n 1, k 1 ) ( m 1, n 1, k )
(X , Y , Z )
P( X , Y , Z )
Z
图2-1特征点对应运动模型的几何图形
4．运动分析方法
1. 根据时间相邻的两幅或多幅图像求解
物体的运动参数和三维结构信息； 2. 图像序列的光流分析方法。
(a)
(b)
图2-2 真实运动与光流不一致的情况
2.1.2二维运动估计
后向运动估计
数最小化的方法来更新运动矢量。可表示为
d (x, t; d t ) d p (x, t; d t ) u (x, t; d t )
2．基于梯度下降的算法
• 像素递归方程为
d
( l 1)
d
(l )
e(x, d
(l )
) x 2 ( x d
(l )
)
• Caffario 和 Rocca 提出另一个类似的步 长表达式
d x ( x, y) a 0 a1 x a 2 y d ( x, y) b 0 b1 x b 2 y y
• 双线性运动：
d x ( x, y) a 0 a 1 x a 2 y a 3 xy d y ( x, y) b b x b y b xy 1 2 3 0
(b) 8像素邻域及其团
图2-9 吉布斯（Gibbs）随机场的团
• 运动场的先验概率密度函数可定义为
c p (d | 1 ) exp V d ( d | 1 ) Q c C 1
• 对于一个包含两个像素的团，势函数可 写成如下形式
V d ( d ( x i ), d ( x j )) d ( x i ) d ( x j )
E (v)

( e of ( v ) w s e s ( v ) )d x
2
2
x A
e of
2
(v) v v x y x y t

2
es ( v ) v x
2
2
vy
2
(
vx x
) (
2
vx y
c 2
2．4 基于块的运动估计
• 2.4.1 概述
• 在基于块的运动估计中，先将视频图像 分成一个个规则的图像块，然后对每个
图像块估计运动参数。
1．块平移模型
• 块平移模型假定每个块只做二维平移运动。 给定两帧视频图像
1
(x)
和
2
(x)
ቤተ መጻሕፍቲ ባይዱ
，对于
1
(x)
中
的一个块 B ，可由
重建，即
2
(x)

1 x 2 ( x d
(l ) 2
)

2
3．多点邻域约束
1 5 2 6 3 x 4
1～6 为先前估计过的像素， x 为当前像素
图2-8 因果邻域
E (x, d )

xB
[ e ( x , d )]
2


xB
[
( x d i ) 1 ( x )] 2
2
2.3.4基于贝叶斯准则的方法
• 贝叶斯准则是基于运动估计问题的概率
公式，视频图像函数和运动场均视为随 机场，由概率密度函数建模，分别称为 观察模型和运动场模型。
• 给定两帧视频图像 1 ( x ) 和
2
(x )
，运动场估
计可以看成一个最大后验概率（MAP）问题， 即
d MAP arg max p ( d | 1 , 2 )
d
p ( d | 1 , 2 )
p (
2
| d , 1 ) p ( d | 1 ) p (