基于图像处理技术的红外小目标的检测与跟踪王琛廖庆王亚慧(电子科技大学,光电信息学院学院)摘要:验证了一种基于红外小目标视频图像序列的跟踪算法,主要研究了基于形心计算的跟踪方法和基于kalman滤波器多帧数据关联方法的跟踪法。
分别仿真验证,并从实现结果出发得出了两种算法的适用范围和各自存在的不足。
关键字:远红外小目标检测与跟踪Detection and Tracking of Far - infrared Small TargetWang Chen Liao Qing Wang Yahui(University of Electronic Science and Technology of China)Abstract: Verify that a tracking Algorithm for Infrared small target based on video image sequence, the main study on tracking method based on centroid computation and multi - frame data association based on Kalman Filter Method for tracing method.Simulation, respectively, and proceeding from the implementation of the results reached the scope of the two algorithms and their insufficient.Key words: Far-infrared;Small targets; Detection and Tracking0 引言随着近十几年信息技术的飞速发展,计算机硬件的处理能力不断提高,存储成本大幅下跌,一些研究人员开始重点研究计算机视觉中有关运动的问题。
与处理单幅图像相比,图像序列引入了新的时间维以及时间相关性约束,这一额外的约束激发了人们对视频理解的研究.视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析,一旦目标被确定,就可获得目标的特征参数选择。
由于视频跟踪具有广泛的应用范围,因而引起了世界范围内广大研究者的兴趣。
在1996年至1999年间,美国国防高级研究项目署(DARPA)资助卡内基梅隆大学、戴维SARNOFF研究中心等著名大学和公司合作,联合研制视频监视与监控系统VSAM,主要研究目的是开发用于战场及普通民用场景的自动视频理解技术。
DARPA在2000年又资助了重大项目HID计划,其任务是开发多模式的监控技术以实现远距离情况下人的检测、分类和识别,以增强国防、民用等场合免受恐怖袭击的保护能力。
在2008年,DARPA资助了一项研究实时流视频监视的技术。
国内许多研究所和大学也投入了大量的精力致力于图像跟踪的研究。
如清华大学人机交互与媒体集成研究所在人脸跟踪、视觉监控、等方面取得了许多科研成果;北京自动化研究所模式识别国家重点实验室在交通场景监控、人体跟踪、智能轮椅手势导航等领域进行了深入研究。
1 设计背景视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析,充分利用传感器采集得到信息来对目标进行稳定跟踪的过程。
一旦目标被确定,就可获得目标的位置、速度、加速度等运动参数,进而获得目标的特征参数。
运动分析的目的是根据运动线索揭示关于环境有价值的信息,这些信息可以用来执行更高级的视觉任务,如活动识别、视觉检索等。
由于采集到的图像序列通常是二维图像,许多研究者开始使用简单的二维表示处理运动分析问题,避免了恢复三维世界的结构、属性等信息。
通过视频目标跟踪系统通过对图像的去噪、对图像进行灰度变换、图像融合、图像增强等处理,可以快速的筛选并提取有用的信息。
在军事上,视频序列目标跟踪技术广泛应用于精确制导、战场机器人自主导航、无人机助降,靶场光电跟踪等领域。
在民用上,该技术主要应用在智能视频监控、智能交通管制、医疗影像诊断等方面。
2 总体方案2.1 常用的跟踪算法2.1.1基于特征的目标跟踪方法基于特征的方法利用了特征位置的变化信息,首先从图像序列中抽取显著特征,然后在序列图像上寻找特征点的对应关系,特征匹配算法大都引入了刚体约束条件,已有的技术包括结构匹配、树匹配等。
之后利用序列帧图像中目标特征点的对应关系,解算当前帧图像中目标位置。
2.1.2基于相关的目标跟踪方法基于相关的目标跟踪方法是把一个预先存储的目标样板作为识别和确定目标位置的依据,然后用目标样板与实时图像中的各个子区域图像进行比较,找出和目标模板最相似的一个子图像位置,作为当前目标的位置,这就是相关跟踪的基本思想,这种方法也叫做图像匹配。
2.1.3基于对比度的目标跟踪方法基于对比度的目标跟踪方法又称波门跟踪方法,该方法适用于目标和背景具有明显对比度的目标跟踪。
该方法需设计一个波门,波门的尺寸略大于目标尺寸,使目标不受波门外的背景和噪声干扰的影响。
跟踪波门可分为固定式和自适应式两种。
前者在跟踪过程中波门的大小始终不变;后者则是在跟踪目标的过程中波门随目标的大小变化而变化。
波门跟踪算法可分为矩心跟踪算法、边缘跟踪算法、双边缘跟踪算法和区域平衡跟踪算法等。
2.2 本方案实现的技术难点要解决图像序列的去除噪声问题,由于目标过小故要选择适当的去除噪声方法,对融合了多种噪声的图像要选用综合的去除噪声方法。
最终的跟踪系统要实现自适应滤波。
要解决小目标丢失或被遮挡后再次出现的问题,要保证目标再次出现后的准确识别和跟踪。
3 原理描述3.1 形心跟踪图(1) 形心跟踪系统流程图如图(1)所示,形心跟踪首先要对图像进行灰度化处理,使彩色图像转换为8位灰度图像以方便以后的运输和处理过程。
3.1.1滤波去噪本次所用图像序列的噪声课近似认为是椒盐噪声,在去噪声时可以用中值滤波法,本方法可以有效的消除椒盐噪声并保持图像中的边缘和细节。
中值滤波法是把领域内的所有像素按顺序排列,然后用中间值代替中心元素的灰度值作为输出。
二维中值滤波定义为:A},(k,l)l k,y x {f g(x,y)Median A∈--=)( (1)其中;f(x,y) 为原始图像阵列; g(x,y) 为中值滤波后图像阵列;Median 为中值滤波算子,取中值;A 为滤波窗口,大小为k×l 。
中值滤波的缺点在于运算速度随窗口的扩大而变慢,故为了提高检测速度本次验证时采用的滤波窗口为33⨯窗口。
3.1.2二值化处理二值化处理是利用同一区域具有某种共同的灰度特性进行图像的分割,其基本原理就是选取一个适当的灰度阈值设置一个阈值,然后对每个像素进行检测,当检测的像素的灰度值小于或等于阈值时,将此像素的灰度值变为0,当检测的像素的灰度值大于阈值时,将此像素灰度值变为255。
{),(,),(,),(T y x f T y x f y x f T ≤>=0255 (2)其中T 是设定的阈值;),(y x f 是像素原有的灰度值;),(y x f T 是处理后的灰度值。
本次设计我们所读取的目标跟踪序列,其背景与目标的灰度基本保持不变。
对此类视频序列图像的阈值确定可以采用直方图分布的办法。
即初步了解到所要跟踪的目标区域和目标所在的背景区域各自处在一个灰度值的范围,在直方图的表现上为具有双峰分布,通过选取波分之间的低谷所对应的灰度值作为分割阈值就可以将目标区域的背景区域分割开来。
3.1.3形心计算对于二值化图像在假设物体的面密度均匀分布的境况下,形心就是要探测物体的几何中心。
同过形心的计算可以快速的判断目标物体的具体位置。
当目标姿态改变时,形心的位置变动较小。
因此形心跟踪比较平稳,同时由于系统效应,算法的抗干扰能力也较强。
对于离散的数字图像,其形心公式可以定义为:∑∑∑∑=====d c y b a x d c y b a x c y x f y x xf x ),(),(∑∑∑∑=====d c y b ax d c y b a x c y x f y x yf y ),(),( (3) 其中,x c 、y c 是目标形心坐标;),(y x f 是图像函数(即图像上y x ,处像素点的灰度);()b a ,是横坐标范围;()d c ,是纵坐标范围。
3.1.4添加波门算法在计算出目标形心的基础上,以形心为对称中心分别在上下,左右画线,连接在一起形成一个矩形框,即跟踪波门。
波门的大小有目标大小而定,主要目的是可以标出目标的位置。
过大的波门有较高的容错性,可以减小跟踪算法的精度不够而产生的跟踪偏差,但由于波门较大所以跟踪精度随之降低。
3.2 基于kalman 滤波器多帧数据关联方法图(2) kalman 滤波流程图Kalman 滤波器是一个线性递归滤波器,用于对动态系统的状态序列进行线性最小方差误差估计,从而对下一个状态的运动做最优估计。
预测时具有无偏、稳定和最优的特点。
3.2 .1kalman滤波首先要引入一个离散控制过程的系统。
该系统可用一个线性随机微分方程来描述: X(k)=A X(k-1)+B U(k)+W(k) (4)再加上系统的测量值:Z(k)=H X(k)+V(k) (5)上两式子中,X(k)是k时刻的系统状态,U(k)是k时刻对系统的控制量。
A和B是系统参数,对于多模型系统,他们为矩阵。
Z(k)是k时刻的测量值,H是测量系统的参数,对于多测量系统,H为矩阵。
W(k)和V(k)分别表示过程和测量的噪声。
他们被假设成高斯白噪声,他们的协方差分别是Q,R。
之后来用他们结合他们的协方差来估算系统的最优化输出。
利用系统的过程模型,来预测下一状态的系统。
假设现在的系统状态是k,根据系统的模型,可以基于系统的上一状态而预测出现在状态:X(k|k-1)=A X(k-1|k-1)+B U(k) (6) 其中,X(k|k-1)是利用上一状态预测的结果,X(k-1|k-1)是上一状态最优的结果,U(k)为现在状态的控制量,如果没有控制量,它可以为0。
P(k|k-1)=A P(k-1|k-1) A’+Q (7) 其中,P表示协方差,P(k|k-1)是X(k|k-1)对应的协方差,P(k-1|k-1)是X(k-1|k-1)对应的协方差,A’表示A的转置矩阵,Q是系统过程的协方差。
式子1,2就是卡尔曼滤波器5个公式当中的前两个,也就是对系统的预测。
结合预测值和测量值,可以得到现在状态(k)的最优化估算值X(k|k):X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H X(k|k-1) (8) 其中Kg为卡尔曼增益:Kg(k)= P(k|k-1) H’ / (H P(k|k-1) H’ + R) (9) 为了要另卡尔曼滤波器不断的运行下去直到系统过程结束,还要更新k状态下X(k|k)的c 协方差:P(k|k)=(I-Kg(k) H)P(k|k-1) (10) 其中I为1的矩阵,对于单模型单测量,I=1。