浙江工程学院学报,第19卷,第3期,2002年9月Journal of Zhejiang Institute of Science and T echnology Vol .19,No .3,Sep 12002文章编号:100924741(2002)0320165206收稿日期:2002201222基金项目:国家自然科学基金资助项目(60103016),浙江省自然科学基金资助项目(601019),浙江省教育厅科研资助项目(2000036)作者简介:周志宇(1974—　),男,浙江诸暨人,在职硕士研究生,从事计算机视觉的研究。

基于动态图像序列的运动目标跟踪周志宇,汪亚明,黄文清(浙江工程学院计算机视觉与模式识别研究中心,浙江杭州　310033) 摘要:介绍了运动目标跟踪中基于特征、32D 、变形模型和区域的4种跟踪方法,着重分析了变形模型中Snake 的跳跃模型跟踪方法和基于区域的几个有代表性的跟踪方法,说明了其在智能交通监控中的应用,并给出了区域跟踪的实验结果。

关键词:动态图像序列;运动目标;变形模型;区域跟踪中图分类号:TP391141 文献标识码:A0　前 言基于动态图像序列的运动目标跟踪技术在军事、国防、工业过程控制、医学研究、交通监控、飞机导航等领域有着广泛的应用前景。

运动目标跟踪的目的就是通过对序列图像进行分析研究,计算出运动目标在连续帧图像中的位移,给出运动目标速度等运动参数,从而对缓解城市交通拥挤、堵塞现象提供依据。

利用图像捕捉并跟踪我们感兴趣的运动目标,形成运动目标的序列图像由于比静止目标的一帧图像提供了更多的有用信息,使得可以利用序列图像检测出在单帧图像中很难检测出的目标。

在复杂背景下对运动目标的跟踪以达到特定的目的,可靠性和精度是跟踪过程中的两个重要指标,为此,人们提出了许多方法来解决跟踪问题,但归纳起来,主要有基于特征、32D 、变形模型和区域的4种跟踪方法。

1　运动目标的跟踪方法111　基于特征的跟踪方法用于目标的跟踪的个体特征有许许多多,不管是刚体运动目标,还是非刚体运动目标,在序列图像中相邻的两帧图像,由于图像序列间的采样时间间隔很小,可以认为这些个体特征在运动形式上具有平滑性,因此可以用直线[1]、曲线[2]、参照点[3]等个体特征来跟踪运动目标。

Liu [1]等人介绍了灰度图像中一种边缘直线匹配的算法。

在边缘直线的提取中,首先,用图像边缘聚焦技术处理图像数据,消除不必要的图像噪声,形成了一个边缘,然后从边缘中分割出直线,并从中提取直线。

用一种以直线的几何关系和灰度图像的信息为基础的匹配函数描述了两幅图像边缘直线的相似性,在连续帧图像中采用直线匹配的方法进行了运动参数的估计。

基于特征的跟踪方法有其显著的优点:a )由于使用的符号模型运动方式简单,运动具有平滑性,因此跟踪目标的算法就简单了;b )这种方法已经假设特征符号运动是相互独立的运动,因此在运动分析时661浙江工程学院学报 2002年　第19卷可以不区分运动物体是刚体还是非刚体,也不用管它的几何形状;c)跟踪过程中符号特征容易捕捉,能够匹配到每一个特征符号。

但是,基于特征的跟踪方法也有其致命的缺点[4]:a)伴随着复杂运动的简单运动,刚体运动目标的特征提取就会产生困难,如圆柱旋转式运动时,运动目标不可能是匀加速运动,更不可能是匀速运动;b)运动初始化时的难点。

刚体的一些特征会因为遮挡而无法识别,因此,基于特征的跟踪算法必须解决目标跟踪过程中的运动初始化的难点,但这些问题的解决又会使跟踪算法变得非常复杂;c)在改变符号参数和32D目标运动参数时,这些参数是非线性的,因此特征跟踪中恢复的32D运动参数对噪声相当敏感。

112　基于32D的跟踪方法基于32D的跟踪方法是通过使用摄像机和场景的几何学知识,将一个有精确几何形状的三维模型投影成图像,根据图像中的位置变化来进行跟踪。

最早的基于32D的跟踪方法是G ennery[5]在1982年提出的。

Jung[4]运用32D的方法对圆柱体旋转运动进行了跟踪。

Nickels[6]运用了32D方法跟踪机器人机械手的运动情况。

VIS ATRAM系统[7]中为了简化3D估计,用长方体的车辆模型来跟踪车辆,获取了运动车辆的速度和尺寸大小。

在XTRACK系统[8][9]中,跟踪序列图像中运动车辆始于用光流场法分割序列图像中的起始帧目标图像。

这些起始帧图像的平面投影依赖一个最初估计的一个参照点,获取目标的方位和速度。

初始的角速度假定为0,用合适的多维车辆模型来跟踪目标。

基于32D的跟踪方法被应用于估计运动目标的运动,从2D图像中推断出运动目标的3D形状。

基于32D的跟踪方法其显著的优点是即使在复杂驾驶操作、明显交通阻塞的情况下利用模型知识的结果会鲁棒地得到跟踪结果,最大的缺点是由于计算的工作量大,实时性差。

113　基于变形模型的跟踪方法变形模型分为没有全局结构,只要满足某些一般的正则化约束,就可以表示任何形状的自由式变形模型和已知几何形状的先验知识,并用少数参数表示的参数式模型。

自由式变形模型最典型的是1987年K ass[10]等人提出用来处理刚性物体或非刚性物体而开发的叫Snake 的主动轮廓模型。

Snake模型是一种有效的分割和跟踪工具。

有人用该模型来检测目标边缘和跟踪运动目标[11][12]。

Snake是基于Snake能量的,分割和跟踪是通过能量最小化的原则进行的。

Snake能量E由控snake(v(s)),吸引轮廓到特定的图像能量E image(v(s))和外部约束能量E cont(v(s))制平滑度的轮廓内部能量Eint的组合来控制和约束。

能量函数表示为:E snake=∫10E snake(v(s))d s=∫10[E int(v(s))+E image(v(s))+E cont(v(s))]d sK ass[10]等人提出的Snake模型依赖于图像中细微的变化,因为他的解决方案是建立在变化基础之上,但Snake模型存在初始化轮廓问题和对图像噪声非常敏感,不能解决快速运动的目标跟踪。

为给定一个适合的初始化轮廓。

Menet[13]等人提出了B2Snake,目标轮廓用B样条来表达,轮廓的表达更加有效,更加结构化。

C ohen[14]提出了一种可膨胀的轮廓线,降低了对轮廓线初始化的敏感性。

计算机视觉跟踪就是通过序列图像对跟踪目标边界连续分割。

对于高速公路上车辆的跟踪可以对车辆的边界进行连续分割。

Snake 分割过程是一种与能量最小化成功找到能量最小的表面,Snake就能找到目标边界。

W on[15]等人提出了Snake的跳跃模型的理论来解决快速运动目标的跟踪问题。

当序列图像中连续两帧图像不存在目标重叠现象时,Snake的跳跃模型就可以用来跟踪物体,这种Snake的跳跃模型理论是假设在图像流的处理中能够获得运动方向的基础上的,从先前每一帧图像中获得的Snake的节点跳跃到目标的边界,在确定目标分割半径的基础上,位移到另一个区域并且重新初始化。

通过图像流信息的反复分割和跳跃来达到能量最小化。

这里Snake的总能量Esnake由外部约束能量E cont和吸引轮廓到特定的图像能量E image组成,能量函数表示为:图1　跳跃模型的图像流操作 E snake =Σn i =1[E cont (i )+E image (i )]跳跃模型的图像流操作过程如图1所示。

在初始化状态中Snake 的节点是人为初始化或自动初始化的。

起先,Snake 收缩到分割目标的边界,这种分割过程是分割Snake 总能量到最小化状态。

在下一帧图像中,目标的位置将变化到另一个位置,新的位置与先前图像的图像位置很远,经过计算图像流,Snake 节点根据图像流信息进行跳跃。

Snake 的跳跃模型的显著优点是可以在不连续的情况下由节点设置表达,依靠寻找最大倾斜点可以找到物体确切的边界,最大的缺点是对遮挡现象十分敏感。

114　基于区域的跟踪方法Francois [16]提出的区域跟踪方法依赖于以前的检测来区分运动目标,然后跟踪目标。

跟踪算法依赖于两个互相影响的动态系统,这个系统捕获了在场景中投影到图像平面的随时间变化的形状和运动组成,运用滤波跟踪技术精确估计了区域几何形状和速度。

Jorge [17][18][19]等人提出的区域跟踪算法不仅利用了分割结果来给跟踪提供信息,同时也能利用跟踪所提供的信息改善分割效果,把连续帧的目标匹配起来达到跟踪目标的目的。

他们的方法是:a )对当前帧图像进行帧到帧的运动分割,这时它用到两帧连续的图像,产生了一个主控表;b )在区域匹配过程中,将主控表中的区域与当前分割出来的区域进行匹配;c )利用两个K alman 滤波器估计运动参数;d )将所有这些丢失区域进行恢复;e )将当前帧分割结果更新图2　区域跟踪流程图到主控表;f )将已不在视野范围内的旧区域删除;g )将主控表中每个区域的运动参数和它相应的矩阵对应起来,并得出下一帧中可能的位置,发现该目标与形状有关的数据。

区域跟踪流程图见图2。

图3　SRG 流程图G rinias [20]等人提出的基于半自动起始区域增长算法的目标跟踪方法,在序列图像中连续两帧图像用一个起始区域增长分割算法进行初始分割,然后在整个序列图像中跟踪出目标。

在跟踪过程中,每一个分割的初始化都是基于前一帧提取图像的分割结果,而且为了自动提取初始的对象集,需要一个用户给定的层次描述。

半自动起始区域增长(SRG )算法一直执行到所有的像素都被标记,在SRG算法执行的过程中需要用到一个顺序排序列表(SS L )来插入邻接点。

半自动起始区域增长(SRG )算法流程图见图3。

在连续帧图像中,初始分割的结果是这样被跟踪的:假设已经跟踪到k -1帧图像,第k -1帧图像分割结果提供了第k帧图像分割的初始集。

Manchurl [21]等人推荐了一种方法:在分割起始阶段即帧内分割阶段定义了一个感兴趣的区域,相应的目标边界可以精确发现。

帧内分割以后,区域自动跟踪应用于随时间演变的区域,跟踪到操作者停止处理。

第二阶段为帧间分割阶段,这时分割分为两个独立的过程模型,对于非刚体运用边界跟踪的方法,对于刚体运用域跟踪的方法,在复杂背景下的目标跟踪中,对于刚体和非刚体的跟踪同时使用不同方法的跟踪,提供了一种跟踪的新思路。

基于区域跟踪的方法显著优点是对于运动目标中存在的遮挡问题不太敏感,而且这种方法跟踪可以改善图像的分割。

761第3期周志宇等:基于动态图像序列的运动目标跟踪 2　在智能交通监控中的应用基于特征的方法来跟踪车辆,由于个体特征提供的前后连贯性差,而且跟踪信息过于简单,对系统和传感器的固有噪声和目标周围背景的干扰引起的噪声相当敏感。