第三讲 光流分析法3．1 二维运动与视在运动 1．而我们所能得到的是时变图像的某种采样点阵（或采样栅格）的图像序列，问题是： 2．可控与可观测问题—>即真实二维位移场与速度是否可观测？3．二维运动——也称投影运动： 透视、 正交投影三维运动可由物体像素的三维瞬时速度或三维位移来描述，但三维瞬时速度及三维位移正是我们要估计的，这是一个逆问题。
而我们可观测到的是视在运动。
（1）假定投影中心在原点P P ' — 三维位移矢量p p ' — 二维成像平面上的二维位移矢量成像平面，投影平面 ← 光学上三维场景 ——> 二维的时变图像 ——> 数学上 3D →2D 投影二维位移场二维速度场t 时刻t ′时刻 P ′P ′ 投影 P P 投影（2）假定投影中心在O 1点由于投影作用，从P 点出发， 终点在O 1P / 虚线上的三维位移矢 量均有相同的二维投影位移矢量。
所以说，投影的结果只是三维真实 运动的部分信息。
（3）设t l t t R t X ∆+='∈,),(3由像素的运动'(,)(,,)C CX t d X t t S→ 二维位移矢量函数对应于点阵 ∧3 ，则有，；；),(),(t l t X d t l t X d C P ∆=∆（x ，t ）∈ ∧3),(),(t l t X d l k n d P ∆=⇒；； （n ，k ）∈ Z 3k 表达了t ‘- t 的时间离散 T n n n ),(21=ϖ假定三维瞬时速度为),,(321X X X &&&，则),(),(k n V t X V C P =4．光流场与对应场 （1）p p ' 定义为对应矢量光流矢量定义为某点 3),(R t X ∈ 上的图像平面坐标的瞬时变化率，为一个导数。
T T dt dx dt dx V V V )/,/(),(2121==表征了时空变化，而且是连续的变化。
（2） 当0→-'=∆t t t 时，则光流矢量与对应矢量等价。
如果在某个点阵∧3可观测到这种变化，则就意义对应场<——像素的二维位移矢量场 光流场<——像素的二维速度矢量场也分别称为二维视在对应场与速度场。
一般而言，对应矢量 ≠位移场 光流矢量≠速度场 （O 1p ′ pOX 2X 1P ′P图像平面X 3 X亮度均匀的话，则不产生光流， 不可观测。
光照变化——>将防碍二维运动场的估计。
则有光流，但没有运动。
3．2 二维运动估计1．正向估计：12112212112212(,,)((,;),(,;),)P C k k l TS x x t S x d X t l t x d X t l t t l t S x x S x d X x d X t k td X d X d X +=+∆+∆+∆⇓⇒=++=∆=离散化等价（，）（（），（））其中对应矢量（）（（），（））2．逆向估计121122k k l S x x S x d X x d X t k t -=++=∆（，）（（），（））,其中3．数学上问题（1）光流的估计——>若每一个△t 间隔时，速度矢量不变。
则光流估计与对应 估计等价；否则在有加速度的情况下，估计光流需要多帧运算，至少三帧。
P =（x 1，x 2） t P ′=（x 1′，x 2′）t--l △t P ′=（x 1′，x 2′） t+l △t（2）解的存在性——>如遮挡与显露问题。
（3）解的唯一性——>产生孔径问题。
位移各分量是否解耦合的。
若独立，未知量的个数是方程数的2倍。
（4）解的连续性——>产生噪声<——不连续4．数学描述有两种主要方法（1）参数模型<——基于三维曲面的表达式 （2）非参数模型a ． 光流方程b ．块运动模型c ． 像素递归法d ．贝叶斯（最大后验概率）3．3 光流方程1．设),,(21t x x S C 是连续时空亮度分布，若沿运动轨迹上的亮度保持不变，有 12(,,)0(3.31)dS x x t dt=-- 注意上式x 1，x 2随t 变化，因此为一全导数。
由上式可得dtdxdt dx tt X S t X U x t X S t X U x t X S C C C 212211)23.3(0),(),(),(),(),(→←↑↑--=∂∂+∂∂+∂∂坐标速度分量我们的估计就是要在帧之间保持（3.3—1）式成立，需要的先验知识较多。
2．二阶微分法(,)0(3.33)C d S X t dt ∇=--使空间图像梯度守恒。
3．块运动模型定义像素块B 上的光流方程误差为(,)()(3.34)C X BdS X t E dt∈=--∑使E 最小为约束条件，为使E —>E min ，应有1200E x E x ∂⎧=⎪∂⎪⎨∂⎪=⎪∂⎩ (3.3—5)4．H-S 法它是一个搜索过程，使光流矢量逐步达到最小值。
通过迭代计算使 (,)minC dS X t dt⇒ (3.3—6)5． 梯度估计将（3.3—2）式中的偏微分项用梯度估计出来1212121121221212(,,)(,,)(3.37)(,,)(,,)(3.38)(,,)(,,)(3.39)C x C C x C C t C S x x t S x x t x S x x t S x x t x S x x t S x x t t∂=∇--∂∂=∇--∂∂=∇--∂6．其它的算法，如自适应方法。
第四讲 基于块的分析法4．1 块运动模型 1． 图像的块模型 （1） 图像由块构成（2） 块运动由平移和二维变形构成2． 平移块运动 （1） 模型在纯平移情况下，设块B ∈n ，而n =（n 1，n 2），D=（d 1，d 2）T 是位移矢量，且第k 帧中图像块B 为S （n 1，n 2，k ），则有121122(,,)(,,1)(4.11)S n n k S n d n d k =+++--注意上式中D 为已被采样点阵抽样及量化后的值。
最接近真正（d 1，d 2） 的整数。
（2） 重叠问题图在下面：可知块B 在k 与k+1帧之间可能重叠的，(a)在未重叠时，块B 有单一的运动矢量。
(b)在重叠时，可选择重叠区内平均运动矢量作为补偿。
(３) 应用未重叠块 重叠块平移的块运动模型算法简单(a) 每一块只需一个运动矢量而光流法要附加的条件来表示运动场 (b) 算法规整简单，便于VLSI 实现(c) 不能用于变形运动３．变形的块运动 (１) 位射变换设k 帧中某像素的坐标为(x 1, x 2) ，而在k+l 帧中的对应像素的坐标为(x’1, x’2)，则由一般的位射变换有X’=AX+D(4.1—2)其中X’=(x’1, x’2)T ，X=(x 1, x 2)T ，D=(d 1, d 2)T (4.1--2)可处理平行四边形长方形旋转长方形⇒⇒{的变换，而位射是正交投射。
（2）透视变换 非线性处理1281732211,1'2{++++=x a x a a x a x a x x（4.1--3）（3引入了非线性处理4.2 相位相关法 频域法 1. 线性相位差项在（4.1--1）试两边取付氏变换121121122(,)(,).exp{2()}k k S f f S f f j d f d f π+=+ （4.2--1）因此对应块之间的相位差为121121122arg{(,)}arg{(,)}2()k k S f f S f f d f d f π+-=+（4.2--2）可见相位差只是在（1,2f f ）坐标上一个平面方向，则帧间的运动矢量可以由这个方向指示来估计。
（4.2--1）式也表明空间场的相对位移引入傅立叶场的线性相位项，而光学的傅立叶常谱特性更容易得到快速算法。
2. 相位相关函数定义k, k+1帧间的相关函数为,1121212(,)(,,1)*(,,)k k C n n S n n k S n n k +=+-- （4.2--3）11281732211,1281762514'2{++++=++++=x a x a a x a x a x x a x a a x a x a x相复功率谱有*,11211212(,)(,)(,)k k k C f f S f f S f f ++=（4.2--4）归一化功率谱为(4.2--5)若为平移运动,有,1121122(,)exp{2()}k k C f f j d f d f π+=+% (4.2--6) 上式反变换有,1121122(,)(,)k k C n n n d n d δ+=--% (4.2--7) (4.2--7)式称为相位相关函数,是一个δ函数，即δ函数的位置生成位移矢量。
3 实现及问题 实现步骤：（1）计算块的二维DFT （k, k+1帧） （2）计算（4.2--5）式的归一化功率谱 （3）求反二维DFT（4）检测相位相关函数峰值位置问题： （1）伪峰的出现 （2）峰分裂 （3）分辨率 （4）频谱泄露优点：（1）不敏感照明的变化 归一化的功率谱（2）可检测多物体运动 每个峰将指示一个特定运动4.3块匹配法 时域法 1. 块匹配法（1）算法在时域进行，算法本身简单、归整 （2）便于VLSI 实现，MPEG1、2、4均大量采用 （3）原则（a ） 合适的块大小),(),(),().(),(~21*21'121*211211,f f S f f S f f S f f S f f C k k k k k k +++⨯=（b ） 匹配准则 （c ） 搜索方法 2. 匹配准则（1）最小均方误差MSE, 定义：(4.3--1)准则为求（12ˆ,d d )）T ，使得 121212ˆ(,)min{(,),(,)}Td d MSE d d d d D =∈) (4.3--2) D 表示（12ˆ,dd )）T 的域 MSE 可看成光流的约束条件（指块内） 但不利于VLSI 实现（2）MAD 最小绝对值法，定义：(4.3--3)求（12ˆ,d d )）T ，使得 121212ˆ(,)min{(,),(,)}T T d d MAD d d d d D =∈) (4.3--4)其中D 是（12ˆ,d d )）T 的域可见 MAD 便于VLSI 实现，但块范围大后，性能下降。
（3）MPC 最大匹配像素数法对块中的每一个像素，定义：(4.3--5)由(4.3--5)决定该像素是否匹配像素 则块中的匹配像素的个数为(4.3--6)求（12ˆ,d d )）T ，使得 121212ˆ(,)min{(,),(,)}T T d d mpc d d d d D =∈) (4.3--7)其中D 是（12ˆ,d d )）T 的域MPC 法只需逻辑运算及计数，便于硬件实现12121212(,)(,)(,;,)n n BMpc d d T n n d d ∈=∑2)2,(212121211)],,(),,([1),(∑∈+-=Bn n k n n S k n n S N N d d MSE 12121212(,)121(,)(,,)(,,1)n n B MAD d d S n n k S n n k N N ∈=-+∑121212121,(,,)(,,1)0,(,,,){S n n k S n n k t T n n d d -+≤←=门限其它3．搜索过程（1）全程搜索费时，但可靠，保证全局极值点（2）快速搜索法三步搜索与预期的精度有关交叉搜索4.4 分级运动估计1.图象的多分辨率表达形式在小波变换下可提供为相位相关法急块匹配改善运动估计2.低分辨率开始运动估计大块的运动…….小块运动运动解高分辨率若有理解初始值，则可以减小窗口的大小降低运动量3.重建时可根据需要重建4.5 一般的块运动估计1．平移估计的缺陷（1）上述方法只能用于平移情况（2）旋转、变形、运动场有不连续点时不能适用2．改进（1）后处理（2）空间变换后处理：在H.26x,MPEG1,MPEG2中图象分成１６╳１６块易引入边界效应。