第20卷　第3期2000年6月北京理工大学学报J o urnal of Beijing Institute o f Technolog y V o 20　No.3Jun.2000 文章编号:1001-0645(2000)03-0347-05基于速度特征矢量提取运动目标的图像分割方法李冬霞,　曾禹村(北京理工大学电子工程系,北京　100081)摘　要:研究基于速度特征矢量提取运动目标的图像分割方法.根据目标图像像素移动的一致性,在序列图像中利用块匹配法进行帧间图像配准,得到目标图像块的速度估计,将具有相同速度矢量的目标图像块聚类,即可分割出运动目标.仿真实验结果表明,该方法能有效地对复杂背景下的运动目标图像进行分割,并具有较好的抗噪能力.关键词:运动目标检测;图像分割;块匹配;速度特征矢量中图分类号:TN 957.53 文献标识码:A收稿日期:19991005作者简介:李冬霞,女,1971年生,博士生.理想情况下,具有运动目标的图像序列相邻图像帧间背景几乎不动,目标像素是作为一个整体相对于背景平移运动的,因此可以利用目标的速度特征将其从背景中提取出来.一般以二维位移偏移量(d x ,d y )作为目标运动速度的描述,常用的运动估计算法有像素递归法(recursive algo rithm )和块匹配算法(block -ma tching alg orithm )[1,2].像素递归法计算量大,计算过程复杂,不易达到实时分割的要求.作者采纳块匹配算法,证实了该算法的有效性.1　运动目标的速度估计块匹配方法是一种相关分析方法,它是把一帧实时图像分为若干个大小相等的子图像块,将每一子图像块作为模板在相邻参考帧图像中一定搜索范围内进行相关计算,根据匹配准则,找出最优匹配位置.该位置对应的二维位移偏移量(d x ,d y )即可作为模板子图像块运动速度矢量的估计值[3].1.1　匹配准则匹配准则是衡量帧与帧之间两个子图像块相似程度的准则函数.可以用子图像块之间的二维互相关函数N (D )作为准则函数,其定义为N (D )=R S K S K -1(D )R S K S K (0)R S K S K -1(D ),(1)其中R S K S K -1(D )=E [S K (x ,y )S K -1(x -d x ,y -d y )].为减少计算量而又保持一定的匹配精度,也可采用子图像块间对应像素绝对差值即均值误差准则(记为M)作为准则函数,其定义为M(i,j)=1N2∑NK=1∑NI=1X t(K,I)-X t-1(K+i,I+j),(2) (V i,V j)=(i,j)/min M(i,j),(3)其中　X t(K,I)为实时图像中像素点的灰度;X t-1(K+i,I+j)为参考图t-1搜索位置(i,j)点的灰度,(i,j)为目标移动i行和j像素点;(V i,V j)为最后的也是最佳的运动偏移估计值. 1.2　搜索策略搜索策略是指在搜索范围内如何选取匹配操作的搜索位置,以及在这些操作位置上如何应用匹配准则.它包含在哪些搜索位置上进行匹配操作和如何应用匹配准则.块匹配操作最基本的算法是二维全局搜索算法(FS A),它能够准确得出全局最优匹配点,但计算量过大.针对这一情况,近年来出现了很多块匹配的快速算法,如三步搜索算法(TSSA)、二维对数搜索算法(TDLSA)、共轭方向搜索算法(CDSA)、交叉搜索算法(CSA)等.这些快速算法都是通过减少搜索位置的数目减少计算量的,但其匹配结果陷入局部最优点的概率很大.作者在此提出一种像素提取技术,既能减少每次匹配操作需要利用的像素点数,又能在整个操作过程中利用所有的像素点.具体说明将在下面叙述.图1为一个8×8的子图像块,块中每个像素点被规则地标记为a,b,c,d.把所有包含像素点a的取样模式叫做模式A,类似地,模式B,C,D分别代表包含着像素点b,c,d的取样模式.如果在块匹配中仅仅利用模式A中的像素点,则计算量下降为取所有子块像素点进行匹配时的1/4.但是,因为标记为b,c,d的像素点没有被利用,这种取样模式会大大降低速度矢量估计的准确性.为克服这个缺陷,作者在搜索范围内使用全部4种模式,在每一个搜索位置上仅使用其中一种,同时采用特定的交替顺序以保证使用子图像块内所有的像素点.图2显示了子图像块在搜索范围内相邻的16个搜索位置,这些位置被规则地标记为1, 2,3,4.标记数字决定了在这个搜索位置上使用图1中4个取样模式中的哪一个进行匹配操作.例如,在标记为1的搜索位置上进行操作时,使用A取样模式(即子图像块中所有标记为aa b a b a b a bc d c d c d c da b a b a b a b c d c d c d c d a b a b a b a b c d c d c d c d a b a b a b a b c d c d c d c d图1　子图像块取样模式3232414132324141图2　搜索范围内4种取样模式的交替的像素点参与匹配操作).类似地分别在标记为2,3,4的搜索位置上使用模式B,C,D,即如果在搜索位置(X,Y)使用模式A,那么在搜索位置(X+2n,Y+2n)上同样也使用模式A进行匹配操作(其中n为整数).在搜索位置(X+1+2n,Y+2n)上使用模式D,在(X+2n,Y+1+2n)上使用模式B,在(X+1+2n,Y+1+2n)上使用模式C.对于每种取样模式,可以得到一个在348北京理工大学学报第20卷　搜索范围内M 值最小的运动矢量估计值,然后利用子图像块的全部像素点计算这4个运动矢量的匹配情况,在所得到的4个估计值中选取具有最小M 值对应的子图像块运动矢量作为最终估计值.这种取样模式交替的特殊方法能够在4个不同的搜索位置上使用图像块的所有像素点,从而利用了搜索范围内的所有像素点.4种取样模式中的任何一种都具有1/4的抽取比,使每次匹配操作数减为原来的1/4.1.3　聚类方法一种聚类方法是由块匹配运动估计得到一帧图像上对应的运动矢量图阵列.对速度矢量进行聚类分析,将其聚类到由若干个相同或相近并且基本连通的多个子图像块构成的区域.通常是将运动矢量图阵列映射成二维坐标平面上的点集,每一个子图像块对应坐标平面上的一个点.将点与点之间的距离小于某一阈值的所有点合并为一个新的点集,根据阈值的不同,可得到不同大小、不同数量的点集.然后再将点集逆映射到图像平面.不同的点集对应不同的图像区域块,集中点的数目越多,所对应的图像区域块越大,同时,不同的图像区域块代表具有不同运动速度的目标.另一种聚类方法是根据子图像块在不同位置上的匹配误差来判断各子图像块可否合并.与前一种方法不同的是每一子图像块在匹配过程中必须保留整个搜索范围内的匹配误差,形成(N +2d m )×(N +2d m )的匹配帧差图,d m 为最大偏移像素点数.某一图像块按照其代价函数(根据帧差图定义)是否满足阈值条件来确定该图像块是否可以合并到另一个图像区域.作者曾试验过这种方法,其抗噪声能力和避免误匹配的能力增强,但运算量太大,判别准则中的阈值选择对结果影响也很大,而且保留各个子图像块的匹配帧差图需要大容量的存储器,所以很难满足实时性要求.在此作者选用第一种方法.2　基于速度矢量提取运动目标及仿真2.1　运动目标速度矢量提取图3为运动目标速度矢量提取的实现框图,其中的双端口存储器1用来存储预处理后的连续帧灰度图像.双缓冲器将子图像块与搜索窗数据同时送入速度矢量计算单元(LSI LO GIC64720运动估值器)进行匹配运算.当输入匹配块数据和搜索窗图像数据后,LSI LO GIC64720芯片内部完成搜索窗内每一位置上的M 准则运算,并自动输出所有匹配位置中349　第3期李冬霞等:基于速度特征矢量提取运动目标的图像分割方法的最小匹配误差、最小匹配误差所在的位置以及零偏移位置上的误差值.最小匹配误差所在的位置可以用来作为速度矢量的估计值.双端口存储器2用于存储各子图像块的速度矢量,可被数字信号处理器(DSP)随时读取进行聚类计算并将结果存入单端存储器中供显示或其它处理环节.处理器选用高速数字信号处理器TM S320C50,该处理器除了实现聚类计算和通信功能外,还提供整个系统的控制逻辑.图中虚线部分可由现场可编程门阵列(FPGA )实现,这样整个系统运算速度加快,而且体积减小.2.2　仿真实验仿真实验采用了多组图像,包括复杂背景下的红外坦克图像和简单背景下的飞机图像.每一组图像进行运动矢量估计时,块的大小分为8×8(N =8)和4×4(N =4)两种情况,p 为搜索步长,即p =d m .由于所采用的序列图像帧间间隔很小,坦克目标运动速度很慢,因此用相邻帧图像进行匹配难以得出结果.实验中选用的红外坦克图像相隔8帧,飞机图像相隔3帧.实验中还对原红外图像均值滤波后的图像进行了匹配操作.图4给出了仿真结果.图4a 为坦克红外图像;图4b 为坦克红外图像的速度矢量图(N =4,p =2);图4c 为坦克红外图像的速度矢量图(N =8,p =4);图4d 为飞机红外图像;图4e 为飞机红外图像的速度矢量图(N =4,p =2,C =2).(a )(b )(c )(d )(e )图4　红外图像及其速度矢量图2.3　结果分析从图4所示速度矢量图中可以看出:①子图像块越大,越不易受到噪声影响,子图像块越小,越易受到噪声影响.块匹配方法对动目标边缘部分的匹配误差比较大,因为所提取出的目标轮廓由规则的折线段组成,掩盖了目标的真实形状.合理地选取匹配块大小,可得到满意的分割效果.②对比坦克和飞机红外图像的匹配结果可发现,背景越复杂和灰度变化特征越丰富,则目标提取效果越好.背景简单,则在搜索范围内与基准子图像块灰度特征相似或相同的匹配图像块不只一个,产生了如何从中确定真实的最佳匹配位置找出运动矢量的问题.不同的处理方式产生不同的分割效果.图4e 表示搜索范围内最佳匹配位置多于两个(C =2)时,默认此匹配子块的最佳匹配位置为(0,0),这种方式一定程度上可避免误匹配.3　结　论以上分析与计算机仿真实验表明,本文中提出的基于速度特征矢量提取运动目标的图像分割方法是有效的.此方法处理过程简单,易于硬件实现,对复杂背景下的运动目标图像有较好的分割效果,而且可以根据目标运动速度对视场中多个运动目标图像进行识别跟踪.350北京理工大学学报第20卷　参考文献:[1]　Huang J ,Liu S,Hayes M.A multi-f rame pel-recursiv e alg o rithm fo r va rying fr ame-to -f ramedisplacement estimatio n [J ].IEEE ICA SSP ,1992,3:242-244.[2]　M usma nn H G,Pirsch P,G ralle rt H J .Adv ances in pictur e coding [J].Pro c IEEE,1985,73:523-548.[3]　Gao Like,Zeng Yucun.M oving targ ets detectio n a nd r eco g nitio n in IR imag e [J].J o urnal ofBeijing Institute of T echno log y (in Chinese ),1997,17(6):676-678.An Image Segmentation Method Based on VelocityFeature Vector for Moving Target ExtractionLI Dong -xia,　ZEN G Yu-cun(Depar tment o f Electr onics Eng ineering ,Beijing Institute o f T ech no lo gy ,Beijing 100081)Abstract :An imag e segmenta tion method based on the v elocity feature vecto r ofm ov ing ta rg et was propo sed.According to moving v ector sameness o f the pix els in a targ et im ag e block ,the velocity v ecto r wa s estimated by inter -frame imag e matching in a n image sequence .Block -ma tching algo rithms w ere utilized in the matching process.All imag e blocks that hav e the sam e mo tion v ecto rs w ere clustered a nd a m ov ing ta rg et w as identified.It w as prov ed that the m ethod is effective a nd feasible to seg ment the moving target from com plica ted backg round and has the better a nti -noise ability.Key words :moving target detection ;image segm enta tion ;blo ck -matching ;v elocityfeature v ector351　第3期李冬霞等:基于速度特征矢量提取运动目标的图像分割方法。