减弱灰度变化小的区域， 通常这些区域包围着边缘。 另外 ’()*(+,(- 变换还具有旋转不变性， 对于边缘， 不 同的方向都能同等的被增强， 所以经过 ’()*(+,(- 变 换后的图像不会被输入图像可能的旋转所影响。因 此可选择 ’()*(+,(- 边缘检测算子进行图像边缘特征 的提取。 ! ! 值得注意的是， ’()*(+,(- 算子不仅对像素灰度 梯度变换很敏感， 同时对噪声也非常敏感。由摄像系 统所摄取的视频图像序列往往存在一些杂乱无章、 随 机分布的噪声， 即 /(011 噪声。为了能准确地选取图 像的特征点， 把 /(011 平滑滤波器和 ’()*(+,(- 锐化 滤波器结合起来， 先平滑掉噪声， 再进行边缘检测， 效 果较好。图 " （ (） 是一幅对比度较差的原始航摄图 像， （ 2） 是直接用 ’()*(+,(- 检测后的图像， （ +） 是先 /(011 滤波再 ’()*(+,(- 检测后的图像。从中可看出， （ +） 特征最明显， 有利特征点的稳定提取。
光电子・激光
第 ", 卷 第 " 期! %$$0 年 " 月! ! ! ! ! ! !"#$%&’ "( )*+",’,-+$"%.-/・0&/,$ ! ! ! ! ! ! ! PGQ) ", ’G) "! ><7) %$$0
基于特征点匹配技术的运动估计及补偿方法 !
钟! 平 !! ，于前洋，金! 光
・ 5%・
! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! !
光 电 子 ・ 激 光 ! #66% 年! 第 "3 卷 !
要在参考图像中确定一组特征结构作为辨识， 并对当 前图像进行搜索， 以寻找对应的特征结构， 从而获得 图像帧间的运动矢量。 ! ! 利用特征法估计视频图像序列帧间运动矢量的 基本步骤为： " ）图像序列中每一帧图像进行处理提 取特征量； # ）确立特征量的帧间对应关系； $ ）计算 特征量的运动参数； % ）特征量的运动代入运动模型 中求出整幅图像运动矢量。 ! & !" 边缘特征的提取 ! ! 边缘的提取可考察每个像素在某个领域内灰度 的变化， 利用边缘临近一阶或二阶方向导数的变化规 律即可检测出图像的边缘信息。目前边缘检测的算 子很多， 其中 ’()*(+,(- 边缘检测算子是对二维函数 进行运算的二阶微分算子， 是偏导数运算的线性组 合。它将在边缘处产生一个陡峭的零交叉。 ’()*(. +,(- 检测算子能增强所围特征点所在的区域， 同时能
B ) @A 特征法的实现 ! ! 图像的特征是指其场景中可作为标志的属性。 利用特征法估计连续视频图像帧间的运动矢量， 首先
%$$#-$/-$0! 修订日期： %$$#-$*-%# ! 收稿日期： ! !! 基金项目： 中国科学院青年创新基金资助项目 （ ;$"R$* ） 万方数据 ! !! &>()$3： SBG78I(#*T DGB@) CGM
% % % %
{
$ & ’ ’ #) # ( &" ) ($ $ & * * #) # ( &" ) ($
&
&
其中 ) & $ ， !， ……&。则 " # 中的 & 个特征点到其重心 的欧氏距离为 % % % %
! ! +) ( ! （ ’ #) , ’ # ） -（ * #) , * # ）
和 !1。
, %* $$ ’ #$ , %’ $$ %’ * #$ , %* $$ $$ % % … % … ； 令： 2 ( 3 ( % … % % … , %* $4 ’ #& , %’ $& * , %* %’ $) #& $&
图 !" 图像特征比较 #$%& !" ’() *+,-./$0+1 +2 $,.%) 2).34/)
! & #" 特征点的确定 ! ! 特征 点 的 选 择 是 在 对 图 像 进 行 /(011 滤 波 和 ’()*(+,(- 边缘检测后的图像上进行的。把检测后的 （ ! 为要选取特征点的个 图像分成 ! 个垂直的部分 数） ， 每一部分将从上到下进行搜索， 选择灰度最大 的点作为该区域上的特征点， 所以一共可选择 ! 个 特征点， 根据不同视频图像的特点， 还可限制特征点 在图像中选择的范围。 ! & $" 特征点的匹配策略 ! ! 利用多分辨率匹配技术有利于提高特征点的匹 配速度。单帧多分辨率结构， 底层为最高分辨率 （即 原始图像） 。层越高， 图像分辨率越低。用不同的低 通滤波器或二次抽样就可获得相应的低分辨率的图 像， 多分辨率匹配的思想是从最低分辨率级开始， 逐 次地、 在每一层进行运动估计， 由较低分辨率级确定 位移粗估计。这样， 在较高分辨率级下， 用前一较低
$ ’
! % % % % 0 ( !’ 5 !* 则方程组 （)） 可表示为 % % % % 2 ( 30 （#） 该方程实际上是一个实数域上的 6 * 7 阶超定线性 方程组 （ 6 & ! &， 7 & (） 。用豪斯呵尔德变换法或广
［ +］ 义矩阵法可解超定线性方程组 ， 从而求出 !、 !0
万方数据 分辨率级位移矢量作为起始估计进行匹配， 可使位移
第 $ 期% 钟% 平等： 基于特征点匹配技术的运动估计及补偿方法 % % % % % % % % % % % % % % %
・ ,# ・ $ ’ ’ $ ； ’ $
对目前图像进行补偿的信息， 即图像间的变焦、 旋转 和平移的运动参数。 !" #" $% ! 的确定 % % 设在参考图像 " # 和当前图像 " $ 所确定的两组特 征点集分别为 % # 和 %（ 分别为 & 个特征 $ %# 对 应 %$ ， 点） 。为了估计出运动参数， 可先通过计算特征点集 所对应的重心位置距离的变化率来估计 %。由于在 动态图像中， 对于具有平移和旋转的图像中， 特征点 之间的欧氏距离是不变的， 所以 " # 和 " $ 的 % 计算方 法 为： 首 先 计 算 出 图 像 "# 中 的 & 个 特 征 点 的 重 心 坐标 % %
矢量估计得到精细的调整， 不仅有一较理想的初始 值， 还可以实现用较小的搜索窗达到较大的搜索范 围。可用 /(011 多分辨锥形层次图或 ’()*(+,(- 多分 辨率锥形层次图实现特征点的匹配。 ! & %" 全局运动矢量的确定 ! ! 采用二维运动模型， 来确定表征图像帧间的平
［ 3］ 移、 绕光轴旋转及变焦运动。这种变换可定义为
@A 引A 言
! ! 电子稳像具有稳定精度高、 体积小、 重量轻、 功耗 低以及能实现实时处理等特点， 在国外已应用于摄 ［ " O 0］ 。电子 影、 航空侦察、 跟踪和监视等各种任务中 稳像技术的关键是估计图像序列帧间的运动矢量。 估计运动矢量的算法有多种， 其中特征法是选取图像 中的典型特征作为运动估计的基本单元， 它能较好接 近人的视觉特性。该方法的关键是提取特征点的稳 定性和特征点定位的精确性。本文提出一种利用特 征点匹配进行运动矢量估计的算法。该算法先检测 图像的特征， 再采用分区的方法在各个分区内选取灰
! !
" +41! ’ 1,-! !" % &( ) ( ) ) (" ) ( ) 1,-! ’ +41! !$ $， $ # ）和 （ "( ， $ ( ）是在时间 * # 和 * ( 时， 两帧图 像的坐标； （ !" ， !$）是在参考帧图像坐标系下所测 & 是变焦系 的平移矢量； ! 是两帧图像的旋转角度； 数， 其与两帧图像的平移和旋转无关， 只要从两帧图 像中给出一组匹配点， & 就能计算出来。 通过代入 ! 个 匹配的特征点即可得一线性方程组， 每一对特征点可 得到 # 个方程。 因此， 线形系统有 # ! 个方程、 $ 个未知 。 通过解线性方程组， 可以得到用于 量 （ !、 !" 和 !$）
!"#$"% &’#$()#$"% )%* !"#$"% +"(,-%’)#$"% .)’-* "% !)#/0$%1 2-/0%"3"14 "5 6-)#78- 9"$%#
123’4 5678 !! ，9: ;6<7-=<78 ，>?’ 4@<78
（ ") AB<78CB@7 ?7DE6E@EF GH 3IE6CD， J67F KFCB<76CD <7L 5B=D6CD， AB67FDF +C<LFM= GH NC6F7CFD， AB<78CB@7 "#$$%% ， AB67<） :;’#8)/#： !" #$%&’()*+ &, %$&-#$ +&)(&" ./)(+#)(&" #"0 1&+2."/#)(&" #22$(.0 )& .$.1)’(1 0(%()#$ (+#%. /)#-($(3#)(&" 4#/ 2’./.").05 6*. $&1#$ +&)(&" 7.1)&’ &, )*. -$&18 4#/ 0.).’+(".0 -9 ,.#):’. 2&(") +#)1*("%5 ;$&-. +&)(&" 7.1)&’ -.)4.." )*. ’.,.’."1. ,’#+. #"0 )*. 1:’’.") ,’#+./ (/ &-)#(".0 -9 /&< $:)(&" &, # /.) &, $(".#’ .=:#)(&"/ 4*(1* 1&+. ,&’+ # %(7." +&)(&" +&0.$5 6*. 2#’#+.).’/ )& 1&+2."< /#). ,&’ )*. 1:’’.") (+#%. 1#" -. 0.).’+(".0 -9 #7.’#%. 7#$:. ,($).’("% #"0 *#7. -.." #22$(.0 )& %(7. +&)(&" +&0.$ )& /)#-($(3. )*. (+#%. /)’.#+5 >" &’0.’ )& ’.0:1. )*. 1&+2:)#)(&" 1&+2$.?()9 #"0 /2..0 +#)1*("% # +:$)(<’./&$:)(&" /)’#).%9 4#/ #0&2).05 6*. .?2.’(+.")/ /*&4 )*#) )*. #$%&’()*+ *#/ # -.)< ).’ .,,.1) ,&’ (+2’&7("% 09"#+(1 (+#%. /)#-($(3#)(&"5 <-4 ="8*’： ,.#):’. 2&(") +#)1*("%；+&)(&" ./)(+#)(&"；#7.’#%. 7#$:. ,($).’("%；0(%()#$ (+#%. /)#-($(3#< )(&"