❖ 美国、英国等国家已经开展了大量相关的研究,当前 国际上一些权威期刊如IJCV、CVIU、PAMI、IVC、 CVPR、AVSS、ECCV、IWVS等均将序列图像的 运动分析作为其中的主题内容。
研究背景（2）
❖ 序列图像的运动分析主要包括运动目标的检测、跟踪、分类 及行为理解几个过程。
摄像机
目标检测
在一个小的空间领域上，光流估计误差定义
为:
W 2 x,y IxuIyvIt 2 (3)
(x,y)
❖ W表示窗口权重函数，使邻域中心区域对约 束产生的影响比外围区域更大，式(3)的解为:
❖
U(ATW 2A)1ATW 2B
Lucas & Kanade算法(2)
U(ATW 2A)1ATW 2B
❖
i,t (1)i,t1
i,t (1)i,t1 It
❖ 式不中匹配0的分1布是仅自权定值义i2,t 按的 (1学i,习t)率(1i2, t， 1 )i,ti( ,t1 It是衰参减i,t数。)2 学习率。
❖ 若无分布和 I t 匹配，则最小权值分布被替换成均值
为 I t ，标准差为 0 ，权值为 K,t (1)K,t1的
dx
dy
u v
dt
dt
❖ 经过dt后对应点为I(x+dx,y+dy,t+dt)，当 dt 0 ，灰度I保持不变，得
到I(x,y,t)= I(x+dx,y+dy,t+dt)。此式由Taylor展开，忽略二阶无穷小， 整理得到基本的光流约束方程:
x
❖ ❖
I I u I v
(1)
t x y
y
❖ 表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。 ❖ 从不同角度对式(1) 引入不同约束条件，产生不同的光流分析方法。
❖ 中值模型 ❖ 双背景模型 ❖ 单高斯 ❖ 改进的混合高斯 ❖ 纹理模型
自适应背景模型 最大不相似模型 混合高斯 多模态均值
背景减除法流程图
中值模型 (Median Model)
Bt(x,y)=K1
t-1
Ij(x,y)
j=t-K
背景 中间值
Dt(x,y)=10
It(x,y)-Bt(x,y) >T otherwise
目标跟踪
目标分类
行为理解
语义描述
低层视觉处理 中层视觉处理
高层视觉处理
❖ 运动目标检测是从序列图像中将运动变化区域从背景图像中 分割提取出来。
❖ 在计算机视觉、智能视频监控（银行、电力、交通、安检及 军事）领域，视频图像的运动目标检测结果，将对运动目标 分类、跟踪及行为理解等后续处理产生重要影响。运动目标 的有效分割是序列图像分析的基础性工作，是当今国内外学 者研究的热点问题。
高斯分布。其余分布仅权值按i,t (1)i,t1 更新。
❖ 块匹配距离度量的方法有两种，一是相似度 量，如归一化相关系数最大化;二是对光强度 差的平方和进行最小化。
块匹配法—归一化相关系数
❖ 归一化相关系数
n
I1(xi,yj)I2(xui,yvj)
C(x,y,u,v) i,jn n I12(xi,yj)I22(xui,yvj) Nu,vN i,jn
❖ 当相关系数为1时，表示两个块完全匹配。实 际上，由于噪声及目标图像形状的变化，不 同图像的对应块亮度会有变化。在(2N1)(2N1) 搜索区内的相关系数最大的位置就是最佳匹 配，其偏离中心点(x,y)的位移量(u,v)即为光 流。
适用于摄像机静止情形，其关键是背景建模，性能与 监控场景复杂情况和系统要求有关，典型算法有中值、自适 应模型、高斯模型、多模态均值等。
光流法
❖ 光流法主要通过对序列图像光流场的分析， 计算出运动场后，对场景进行分割，从而检 测出运动目标。
❖ 光流法的核心是求解出运动目标的光流，即 速度。
❖ 简要介绍传统光流法的典型代表 Hom&Schunck算法、Lucas&Kanade算法 和块匹配算法。
D t(x,y)= 1 0,,o Itt(h xe ,y rw )-iIste -1(x,y)> DTefault:T=60
优点：鲁棒性好，运算量小，易于软件实现 缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现 象，阈值T缺乏自适应性，当光照变化时，检测算法难以适应环境 变化
背景减除法
Default:T=60，K=3
前提：在前K帧图像中，某像素点在超过一半的时间里呈现场
景背景像素值。
自适应背景模型
α×
+（1-α）× 前一背景 = 当前背景
前一帧k-1
α是任意选择的适应参数
B1(x,y)=I1(x,y)
α为自适应参数，其取值 直接影响背景的更新质量
Bt(x,y)=αIt(x,y)+(1-α)Bt-1(x,y)
I(x1) I(y1)
❖
式中，
Xt ,AI(X1),...,I(Xn)T
I(x2) ...
I(y2) ...
I(xn) I(yn)
W d ia g W (X 1 ),...,W (X n )
BIt(X1),...,It(Xn)T
块匹配法
❖ 块匹配法并不直接使用光流基本方程，它的 基本思想是假设光流w=(u，v)为不同时刻的 图像区域的位移量，在图像序列的顺序图像 对之间实施位置对应。
四部分。
模型初始化
❖ 第1帧图像初始化混合高斯模型： 当前像素的颜色值初始化均值 初始较大标准方差 0 =30. 给第一个高斯分布一个较大的权重0.5，其余的
高斯分布权重为0.5/(K-1)
It
模型匹配与参数更新
❖ 将新像素 I t 与模型中的K个分布按序匹配，若 I t 与某 分布满足式 It i,t1 D1i,t（1 D1为自定义参数），则 I t 与该高斯分布匹配，其参数按下式更新。
3×3的邻里差分 -
最大不相似模型
D(x,y)= 1
Nt(x,y)-It(x,y)>M Dt(x,y) ∨M t(x,y)-It(x,y)>M Dt(x,y)
0
otherwise
N：最小灰度值 M：最大灰度值 MD：最大帧间差
*没有常数,包含大量光噪，需要去噪和形态滤波
单高斯模型
假设每个像素的灰
❖ [1] Horn, Berthold K.P.; Schunck, Brian G. Determining Optical Flow[J].1981.
Lucas & Kanade算法(1)
❖ Lucas & Kanade于1981年引入了局部平滑
性约束，即假设在一个小空间领域上运动矢
量保持恒定，使用加权最小二乘法估计光流。
D (x ,y )= M b∧ M t Default：Tb=60, Tt=60
其中：D i f b = ξ ( I t , B L T ) , D i f t = ξ ( I t , B S T )
11
ξ (I1 ,I2 )= [I1 (x + i,y + j)-I2 (x + i,y + j)] i= -1 j= -1
运动目标检测问题分类
❖ 按不同标准将运动目标检测方法分类： （1）摄像机数目：单摄像机、多摄像机 （2）摄像机是否运动：摄像机静止、摄像机
运动 （3）场景中运动目标数目：单目标、多目标 （4）场景中运动目标类型：刚体、非刚体 ❖ 主要讨论：静止单摄像机，多运动目标检测
问题。
运动目标检测方法
❖ 光流法（Optical flow）
度在时间域上满足 正态分布:
1 D (x,y)= 0
It(x,y)-μ(x,y)>λδt(x,y) otherw ise
单高斯模型：
μt = αμt-1 + (1 - α)It
δ
2 t
=
αδ
2 t -1
+ (1 - lt：λ = 4.5
α=β
1 2πδ
exp
(μ t-1 - It 2δ2
❖ 基于匹配的光流法通过特征匹配来确定偏移量，可 以解决相邻帧差异较大的问题;但是特征匹配比较困 难，运算量比较大，且块匹配法对噪声敏感。
❖ 目前，国内外学者都在寻求改进光流法的方法，主 要分为两种，一是光流法自身的改进;二是光流法与 其他方法相结合，如即金字塔光流法、区域光流法 和特征光流法。
时间差分法
混合高斯模型
❖ 设用来描述每个像素点背景的高斯分布共有
K个，分别记为(x,i,t, i,t),i1 ,K2 ,...,K。各高
斯分布分别具有不同的权值i,t ( i,t 1)和
优先级 Pi i,t
i,t
1/2，它们总是按i1照优先级从
高到低的次序排序。 包括模型初始化、模型
匹配与参数更新、生成背景分布和检测前景
( u)2 u x u y 20( v)2 x v y v 20（2）
❖ 结合式（1）和式（2），得光流w=(u,v)应满足：
m i n ( x ,y ) ( I x u I y v I t) 2 2 ( u ) 2 ( v ) 2
❖ 取值主要考虑x图y中的噪声情况。如果噪声较强， 说 明数据置信度较低，需要更多地依赖光流约束， 其取值较大;反之其取值较小。
❖ 其中k为正则化参数。指数响应函数在0~1之
间变化。根据估计理论，利用加权最小二乘
法可得到真实速度的一个估计:
R (u ,v )u
R (u ,v )v
v c (u c,v c)u cu
vR (u ,v )v cu
v
R (u ,v )
uv
uv
光流法总述
❖ 基于微分的光流法，实现比较简单，计算复杂度低， 缺点是在图像相邻之间偏移量大的时候误差较大， 而且该方法要求图像灰度必须是可微的。