第14卷第6期2007年12月电光与控制EU£CTRONICSOPTICS&CONTROLV01.14№.6Dee.2007文章编号:1671—637X(2007)06—0099—07图像配准技术研究进展刘松涛,杨绍清(海军大连舰艇学院信息与通信工程系,辽宁大连116018)摘要:图像配堆是解决图像融合、图像镶嵌和变化检测等问题的必要前提。
其应用遍及军事、遥感、医学和计算机视觉等多个领域。
筒要回顾了图像配准技术的发展史和研究现状.重点阐述了当前的技术热点和应用趋势,最后展望了进一步的研究方向。
关键词:图像配准;信息论;非刚性配准;虚拟结构中图分类号:V243.6文献标识码:AProgressinimageregistrationtechniquesLIUSong—taa,YANGShao—qing(Oept.ofInformation&CommtmicdionEt,g泌rit,.g,DafianNavalAcademy,Dalian116018,舀白Ⅺ)Abstract:Imageregistrationisessentialforallimageanalysistaskslikeimagefusion,imagemosaicandchangedetection.Itisusedwidelyinmilitarysystem,medicalimaging,remotesensing,computervision,etc.Thehistoryandcurrentetatusofimageregistrationtechniquesfirereviewedkeflywithemphasisonitscurrenttechnicalhotspotsandapplicationtrends.Someinterestingaspectsforfurtherstudya”pointedoutintheend.Keywords:imageregistration;informationtheory;110n—rigidregistration;virtualstructUre0引言图像配准是许多应用问题必须的预处理步骤,比如:时序图像的变化检测或多模图像融合,这些问题遍及军事、遥感、医学、计算机视觉等多个领域。
许多领域都需要图像配准,实际应用过程可能会有所不同,但其中关键的因素是类似的。
概括地说,图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两橱或多幅图像进行最佳匹配的过程,包括像素灰度匹配和空间位置对齐。
配准方法的分类可以依据不同的准则。
Bro.wn…依据变换模型的复杂程度对配准方法进行分类,并归纳了配准技术的实现步骤:特征空问、相似度测量、搜索空间和策略。
Maintz”1等则提出了9收稿日期:2006—03—09修回Et期:2006—05—15基金项目:国防预研基金资助项目(51403030604JBl40I);国家自然科学基金资助项目(60572160)作者简介:荆松涛(1978一),男,河南孟津人,博士,主要研究方向为图像融合、耳标识别、成像跟踪、DSP开发等。
条分类准则,依次为:图像维数、配准特征的来源、变换模型、坐标变换域、交互性、优化策略、成像模式、配准对象、配准目标的特点等。
作者参考Brown和Mainlz的分类方法,将配准技术概括为8个方面,包括:配准对象、特征提取、特征匹配、变换模型、优化策略、坐标变换与插值、系统实现及算法评估,并考虑每项内容的技术特性进行细分,然后依据某一算法的创新点进行分类。
囊括所有方法的分类准则是不存在的,所提方法侧重于从总体上对配准方法进行考察,是一种相对能反映配准方法本质特征的分类方法。
依据新的分类准则,作者已对图像配准技术的8个子方向进行了系统研究uJ。
1发展史和研究现状国外从20世纪60年代就开始在图像配准领域进行研究“】,但直到1980年代才开始引起学者们的关注。
到上世纪末,单模图像配准问题已基本解决,但多模图像配准由于涉及模式和领域的复杂性.仍需密切关注。
国际上对图像配准技术曾做过调查”】,其结论是1990年代初技术文献明显增加。
而100电光与控制第14卷国内从1990年代初才开始涉足此领域。
下面依据科研分布情况对当前图像配准技术的研究现状进行阐述。
通过对研究成果(比如:硕、博士论文)相对集中的科研机构或技术人员进行分析,可以很好地把握该领域的研究广度和深度。
1)UMCU(UniversityMedicalCenterUtrecht,Neth-erlands)图像科学所。
以MaxA.Viergever教授为代表,研究兴趣包括计算机视觉和医学成像的所有方面。
文献[6]综述了该所上世纪最后10年的研究情况,重点在图像配准、图像分割和可视化。
2)VU(VanderbiltUniversity,USA)电子工程与计算机科学系。
以J.MichaelFitzpatrick教授为代表,研究兴趣在医学成像,医学图像处理,图像配准、图像制导手术。
3)su(syrac∞eUniversity,USA)电子工程与计算机科学系。
以PramodK.Varshney教授为代表,研究兴趣在隐藏武器探测。
文献[7]综述了其课题小组近10年的研究情况。
4)KCL(King’sCollegeLondon)医学成像科学组。
以DerekL.G.Hill教授为代表。
研究兴趣在图像配准、多模图像制导手术、MRI运动纠正、形状分析等,著有《医学图像配准》。
5)WSU(WrightStateUniversity,USA)计算机科学工程系。
以ArdeshirGoshtasby教授为代表,近20年来,一直致力于图像配准技术研究。
他是图像融合系统研究的发起者,并创立了以研究和发展图像配准及融台技术为目的的公司。
6)美国NASA空间飞行中心。
以JacquelinekMoigne教授为代表.为图像配准在遥感领域应用作了大量工作,涉及多种技术在该领域的应用,诸如小波多分辨率策略以及互相关、互信息、Hansdorff距离等相似度测量。
7)20世纪90年代初国内开始进行图像配准技术的研究,文献[8—9]应该是比较早的研究成果。
2技术热点图像配准技术的文献浩如烟海。
通过对当前技术热点的分析,不仅体现了该领域存在的问题,也揭示了进一步的研究方向。
2.1传感器校正图像配准是与获取待配准图像的传感器紧密联系的。
在图像获取之前解决图像配准问题的方法之一是构造一种能够同时获得多种模式图像的成像装置。
这是今后实现图像配准技术的一个重要发展方向。
文献[10】提出了一种距离图像扫描机制,可以不需配准就能融合数据。
通过研究成像设备参数可以有效地消除图像间差异。
文献[11]利用传感器参数进行图像配准。
系统中传感器光轴一致,有相同的中心,则图像只反映了视场角和空间分辨率的不同。
根据传感器参数,对图像剪切、缩放、重采样和插值,可直接匹配视场角和空间分辨率。
基于成像模型的配准方法是建立在图像空间和地面物理空间之间严格的几何变换基础上,需要准确的传感器位置和姿态参数以及数字高程模型(DEM)的支持。
文献[121在配准由飞机或其他空中平台拍摄的地面上的景物图像时,考虑到配准的精度和实时性,采用了基于成像模型的配准方法,克服了传统配准方法在图像出现较大扭曲时的不足。
2.2信息论技术最近几年,以信息论为基础的图像配准方法越来越受到研究者的关注。
其理论依据是:同一目标的两个图像所反映的信息必具有某种内在的关联。
随着两幅图像对齐程度的变化,这种关联也随之变化,当互信息达到最大时,则认为两幅图像已配准。
1995年,Viola“”和Collignon“41等人分别独立地把交互信息引人图像配准领域,为多模态图像配准提出了一种新的思路。
互信息配准的计算量很大,文献[15]提出的非线性迭代方法明显降低了计算量,并在其后的研究中证明,该方法是有效的。
文献[16]提出用非等距离的快速F肼变换来计算互信息,不仅提高了配准速度,也改善了配准精度。
文献[17]认为互信息法在图像之间差异太大时将失效.所以在配准从MⅡ(MultispectralThermalIm,abet)获得的多光谱图像时,将互信息做了多变量推广。
在多光潜图像之间采用循环的相似度匹配原则,较好地实现了多光谱图像配准。
互信息测度通常基于shannon熵定义,文献[18]展示了基于renyi熵的互信息测度,在许多情况下都显示了优越性。
文献[19]则研究了tsallis熵,认为相比shannon墒,具有更好的配准精度和收敛速度。
除了互信息外,信息论还提供了许多其他方式的测度,文献[20]对其作了全面论述和比较。
2.3非刚性配准非刚性配准是当前的研究热点,集中在医学领域。
文献[4,21—22]是关于非刚性配准的文献综述p第6期刘松涛等:图像配准技术研究进展101非刚性配准方法主要有基于空同变换的配准方法和基于物理模型的配准方法两大类。
基于空间变换的非刚性配准方法采用图像的空间变换来拟台图像的变形,常用方法有多项式法、基函数法、样条函数法等。
在基于物理模型的配准方法中,不同图像之间的差异被认为是由一种物理变形引起的。
基于物理模型的配准方法就是构造能够拟合这种变形的物理模型,主要的物理模型有弹性模型、粘性流体模型和光流场模型。
文献【23]将所有非线性配准算法归结在一个变化框架下,并在此框架下,提出了一种基于曲率的图像配准算法。
2.4复合配准复合配准适宜于待配准图像之间有较大的尺寸比例差别、较大的旋转角及较大的平移,甚至还伴随着各自图像的畸变,或存在较严重的几何校正残余误差。
复合配准有3种复合方式:结合基于特征和基于灰度的配准方法、结合图像中不同的特征以及变换模型分解。
1)基于特征和基于灰度的配准方法。
文献[24]提出的复合配准算法包括了基于边缘的方法和基于光流估计的配准算法,但边缘需要匹配,而光流场估计对光照和对比度的大变化不适应。
为了改进算法的不足,文献[25]在特征匹配阶段使用了Haus-dorlt距离。
2)图像中不同特征结合。
文献[26]提出将区域轮廓和内部解剖点共同作为匹配特征实现弹性配准。
3)变换模型分解。
文献[27]通过分段仿射变换逼近透视变换,从而简化其参数计算。
文献[28]通过whitening变换将一般仿射变换问题转化成刚体变换,极大地简化了问题模型。
2.5变换模型的特性大多数图像配准技术中存在一个共同的问题,即图像A到曰的估计变换不是丑到A变换的逆,这种菲一致性起因于匹配策略没能很好地描述图像闯的对应关系。
文献[29]提出了一种联合估计图像间的正向和反向变换的方法,保证了正向和反向变换的互逆性。
文献[30]进一步明确指出配准变换不一致是由相似度测量的不对称造成的。