第39卷 第7期 激光与红外Vo.l39,No.7 2009年7月 LASER & INFRAREDJuly,2009

文章编号:100125078(2009)0720693207#综述与评论#红外与可见光图像配准研究现状与展望

苑津莎,赵振兵,高 强,孔英会(华北电力大学电气与电子工程学院,河北保定071003)

摘 要:红外与可见光图像配准是常见的多模态图像配准,它广泛应用于军事、遥感等领域,有必要对其研究现状进行综述。在描述了红外与可见光图像配准问题后,首先简述了图像配准的一般方法,分为基于图像区域的配准方法和基于图像特征的配准方法,重点述评了局部不变特征方法中的SIFT算法和SURF算法;然后按文献发表时间顺序对红外与可见光图像配准的国外和国内研究现状进行了详细述评;总结了红外与可见光图像配准研究中存在的问题;最后对其进行展望,并指出未来的研究重点是以SIFT算法和SURF算法为研究基础去构造对模态不敏感的不变特征和其相应的描述子。关键词:图像配准;红外;可见光;SIFT;SURF中图分类号:TN911.73 文献标识码:A

Reviewandprospectoninfrared/visibleimageregistrationYUANJin2sha,ZHAOZhen2bing,GAOQiang,KONGYing2hui(SchoolofElectricalandElectronicEngineering,NorthChinaElectricPowerUniversity,Baoding071003,China)

Abstract:Infrared/visibleimageregistrationisthecommonmulti2modalimageregistration,andithasbeenwidelyap2pliedtolotsoffieldssuchasmilitaryandremotesensing.So,itisnecessarytoreviewthecurrentresearchsituationofinfrared/visibleimageregistration.Afterdepictingtheproblemofinfrared/visibleimageregistration,generalmethodsofimageregistrationisdescribedbriefly.Theyaredividedintotwotypes:area2basedmethodsandfeature2basedmeth2ods.SIFTalgorithmandSURFalgorithminlocalinvariantfeaturesaremainlydiscussed.Accordingtotimeoflitera2turepublishing,theanalysisandreviewforinfrared/visibleimageregistrationmethodsathomeandabroadarecarriedoutindetai.lThenthedifficultiesofinfrared/visibleimageregistrationtechniquearesummarizedandevaluated.Atlast,prospectsofinfrared/visibleimageregistrationaremade,andthefutureresearchonthisfieldcouldpaymoreat2tentiontoconstructinvariantandmodality2insensitivefeaturesandtheirdescriptorsonthebasisofresearchofSIFTal2gorithmandSURFalgorithm.Keywords:imageregistration;infrared;visible;SIFT;SURF

1 引 言图像配准是个极富挑战性的研究领域,所谓图像配准是指依据一些相似性度量决定图像间的变换参数,使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像,变换到同一坐标系下,在像素层上得到最佳匹配的过程[1-6]。图像配准已在军事、遥感、医学、计算机视觉等领域得到了广泛的发展和应用[2]。国外从20世纪60年代就开始在图像配准领域进行研究,而国内从20世纪90年代

初才开始涉足此领域,到20世纪末,单模态图像配准问题已基本解决[5],但多模态图像配准仍未得到

很好的解决。多模态图像由于来源于不同成像设备,所以能提供比单模态图像更加丰富和全面的信息[2-4,7]。而红外与可见光图像配准是常见的多模

作者简介:苑津莎(1957-),男,博士,教授,博士生导师,研究方向为图像处理,智能信息处理等。E2mai:lyuanjinsha@126.com 收稿日期:2009201204;修订日期:2009205204态图像配准[3-4,8-9]。由于红外反映景物的辐射信息而可见光反映景物的反射信息,二者输出的图像具有不同的灰度特征,这些信息互为补充,可以融合在一起用于目标识别。红外图像可在场景内定位具有较高温度的物体,而可见光图像则提供背景信息,将二者融合,便能实现在背景中定位高温物体的功能。但是,目前大多数现有图像配准方法用于红外与可见光图像上的效果并不太好,仍需要进行深入研究。1992年,Brown[10]对此前出现的配准方法进行了总结,2003年,Zitov󰃧[1]总结了此后出现的相关技术和方法,这两篇综述文章概括了图像配准研究的一般方法。另外,还有研究者专门对某一方面的图像配准进行综述,如多传感器图像配准[2-4]、遥感图像配准[6]、医学图像配准[11]等;应用广泛的红外与可见光图像的配准是常见的、非常典型的多模态图像配准,而且最近几年出现了很多新方法,所以有必要对其研究现状进行综述。以下将首先简述图像配准的方法及其研究现状,其中着重介绍基于局部不变特征的方法;然后对红外与可见光图像配准的国内外研究现状进行详细述评;指出红外与可见光图像配准研究中存在的问题,并对其进行展望。2 图像配准方法由于同一场景拍摄的图像是真实的三维世界在不同时间向成像平面的一系列投影,而图像与图像之间有较大的相关性和信息冗余,所以无论所处理的图像是发生何种形式的变化、或是由何种传感器获得,总可以利用图像中不变的部分、共性的信息去完成配准,然后再根据需要去处理变换的部分。一个典型的图像配准方法的基本步骤[1]主要包括特征检测、特征匹配、变换模型参数估计及图像重采样与变换。迄今为止在国内外已经报道了相当多的图像配准研究工作,产生了不少图像配准方法。总的来说,各种方法都是面向一定范围的应用领域,具有各自的特点。可以分为两类方法:基于图像区域的方法和基于图像特征的方法。2.1 基于图像区域的配准方法此类方法,通常是用图像的某一区域或者整幅图像去估计图像之间在空间几何上的变换参数。常见的基于区域的配准方法有相关类方法、相位相关法、概率型测度法等。而常见的概率型测度有图像联合直方图、图像联合熵、互信息法[12-13]及归一化互信息法等,这些方法在特定情况下获得了成功。其中,源于Shannon信息论的互信息法在多模态图像配准领域引起了广泛的关注,它是目前研究最多的一种度量方法,互信息法的优点在于不需要对多模态图像灰度间的关系作任何假设,也不需要对图像作分割或预处理,它几乎可以用于任何不同模态图像的配准,但是它忽略了图像的空间信息和结果信息,计算时间长且对噪声的鲁棒性不强。2.2 基于图像特征的配准方法多传感器获取的各类图像灰度特征往往不一致,因此很难运用基于图像区域的方法。基于图像特征方法提取图像中对比例、旋转、平移、照度等保持不变的特征,利用了图像的高层信息,适合于多模态图像分析。常见的基于图像特征的方法包括:基于结构性特征的方法,基于小波系数的方法,基于不变量图像描述符的方法和基于局部不变特征的方法等,由于前三种方法在相关文献中已有描述,以下将详细述评基于局部不变特征的方法的研究现状。最近几年,局部不变特征在解决宽基线匹配、特殊目标识别、机器人定位等问题中得到了广泛的应用,并获得了很大成功[14]。很多局部不变特征能对旋转、尺度缩放、仿射变换、视角变化、光照变化等图像变化因素保持一定的不变性,而对物体运动、遮挡等因素也保持较好的可匹配性,从而可以实现差异较大的两幅图像之间特征的匹配。基于局部特征的方法主要有两个部分:一是局部特征检测,二是局部特征描述。1988年,Harris对Moravec算法[15]进行改进,提

出了至今仍被广泛使用的Harris角点检测子[16],它

基于由二阶矩组成的矩阵特征值,然而Harris角点不是尺度不变的。1998年,Lindeberg[17]引入了自动尺度选择的概念,这样可以分别在不同尺度上检测图像的兴趣点,他使用Hessian矩阵和Laplacian的行列式检测了斑块类的结构性特征。Mikolajczyk和Schmid[18]精炼了这种方法,构造了Harris2Laplace

和Hessian2Laplace,它们是更具重复性的鲁棒和尺度不变特征检测子,他们用Harris或Hessian矩阵行列式去选择位置,用Laplacian去选择尺度。为了提高检测速度,Lowe[19]使用DoG(differenceofGaussi2ans)滤波器去近似LoG(LaplacianofGaussian)。人们还提出了一些能处理较大视角变化的仿射不变特征检测子。从一些比较检测算子性能的研究[20-21]

可以看出:¹基于Hessian的检测子比基于Harris的检测子更稳定也更具可重复性,而且使用Hessian矩阵的行列式去检测比使用它的迹(Trace)更有优势;º类似DoG这样的近似能以损失较小精度的代

694激光与红外 第39卷