图像配准操作(Image Registration)是在不同条件下得到的并且位于不同坐标系下的同一场景(或物体)的二幅或者多幅图像进行对准叠加的过程由于成像条件不同,同一场景(物体)的多幅图像会在分辨率、成像模式、灰度属性、位置(平移和旋转)、比例尺度、非线性变形及曝光时间等方面存在很多差异,图像配准就是要克服这些困难,最终将这些图像在几何位置上进行配准,以便能够综合利用多幅图像中的信息满足一定的应用需求。
概括来说,图像配准问题就是将位于不同坐标系下同一场景的二幅或多幅图像,寻找一种特定的最优几何变换,将两幅或多幅图像变换到同一坐标系的过程背景、意义背景图像配准最早在美国70年代飞行器辅助导航系统、武器投射系统的末端制导以及寻地等应用研究中提出。
经过20年的研究成功地用于中程导弹及战斧式巡航导弹上弹着点误差半径不超过十几米。
80年代后很多领域都有大量配准技术的应用,如遥感领域、模式识别、自动导航、医学诊断、计算机视觉等。
各个领域的配准技术都是对各自具体的应用背景结合实际情况量身订制的技术。
但是不同领域的配准技术之间在理论方法上又具有很大的相似性。
目前国内外研究图像配准技术比较多的应用领域有:红外图像处理、遥感图像处理、数字地图定位和医学图像处理等领域。
70年代P.E.Anuta 提出用FFT (Fast Fourier Transform快速傅里叶变换)进行图像配准;D.I.Barnea和H.F.Silverman SSDA(Sequential Similarty Detection Algorithm 序贯相似性检测算法)进行图像配准该算法的优点是图像配准的处理速度相对其它算法来说得到了提高;W.Pratt 在数字图像处理中详细阐述了各种用于图像配准的相似度量函数;后来A.Roche等将相关相似度函数扩展并应用得到多模态图像配准当中(缺陷:不能处理较复杂的多模态图像间的配准、利用其计算的相似性的峰会较平坦、显著性较低、计算复杂度较高)P.E.Anuta 等提出了改进的基于边界信息计算的相关相似度量,有效地提高了该相似度量相对于光照变化的鲁棒性;P.Viola and W.M.Wells III,等在1997较早地将信息论中的交互信息用于图像的配准操作Thevenazand Unser等尝试了各种途径来解决多种交互信息在图像配准应用中遇到的技术问题口,由此,他们也成功地提出了利用Parzen窗来计算交互信息。
交互信息能够有效地实现多模态图像间的图像配准。
为了满足很多具体应用对高精度的需求,最近几十年内己经提出很多能够达到亚像素精度的图像配准算法为了实现亚像素图像配准,插值函数被广泛用来克服图像离散化对图像配准精度带来的负面影响。
V N Dvornychenko利用插值函数对由相似度量函数计算得到的相似值组成的曲面实现插值的方法,实现了亚像素的图像配准精度;J.A.Parker等人利用插值函数对图像灰度值进行插值从而实现亚像素的图像配准精度的方法,并对各种插值函数进行了性能的对比。
因为有些插值方法会产生新的灰度值而引起图像灰度分布发生变化的缺点,Maes等人提出了部分体积插值法(Partial Volume Interpolation,PV)。
PV方法实际上并不直接计算出插值点的灰度值,而是根据线性插值的权重分配原则,将每对像素对联合直方图的贡献分散到联合直方图上与之相邻的各个像素对上,这样联合直方图上各个像素对的频度值以小数增加,不会出现新的灰度值而破坏目标函数值分布的光滑性。
意义图像配准的应用前景非常的广阔。
无论在地理遥感领域还是在军事、医学领域都能看到图像配准技术的应用实例。
图像配准作为图像处理中一个基本问题,源自于多个领域中很多实际问题的不同应用需求,同时它也是众多图像分析和处理任务的关键步骤。
由于图像配准在航空影像自动制图、图像三维重构、计算机视觉、遥感融合、模式识别、医学图像处理、影像分析等众多领域内有着广泛的应用,所以它也是当前科研领域中的重要研究热点之一。
在医学图像处理方面,随着计算机技术的不断发展,医学成像技术得到了快速的发展,尖端的新型医疗影像设备层出不穷,如计算机X线摄影(CR)、数字X线摄影(DR)、直接数字X线摄影(DDR)、X线计算机断层摄影(CT)、核磁共振成像(MRI)、数字减影血管造影(DSA)、超声成像(US)、γ闪烁成像(γ-scintigraphy)、单光子发射体层成像(SPECT)、正电子发射体层成像(PET)等等,这些已经成为现代医学诊断必不可少的医学数字成像手段、由于这些医学数字成像设备有不同的灵敏度和分辨率,它们有各自的使用范围和局限性。
多种模式图像的结合能充分利用图像自身的特点并做到信息互补。
根据医学图像所提供的信息内涵,我们可以将这些信息主要分为解剖结构成像和功能成像两大类。
这两类成像方式同样各有优缺点,解剖成像(CT,MRI,B超等)的优点是分辨率高,能够提供人体内脏器官的解剖形态信息;功能成像(PET,SPECT等)的缺点是成像分辨率较低,但能够提供人体内器官、大脑的功能代谢信息。
即使是像CT、MRI、PET的同一种成像方式,得到图像的信息也不完全相同。
CT图像能够清晰的显示骨骼的结构图像,MRI适合对软组织形态成像,而PET能够反映身体器官的新陈代谢状况。
不同成像技术对人体同一组织得到的形态信息和功能信息存在一定差异,但是它们提供的信息又是互相补充的。
为了充分利用这些成像方式提供的信息,临床医生迫切希望能够将同一病人的不同图像信息进行配准、融合,将成像结果综合起来,这就需要对不同的图像进行配准及信息融合技术。
图像的融合是指将两幅(或两幅以上)来自不同成像设备或不同时刻获取的己配准图像,采用某种算法,把各个图像的优点或互补性有机结合起来,获得信息量更为丰富的新图像的技术,医学图像的配准和融合有着密切的关系,特别是对于多模态图像而言,配准则是进行图像融合的必要条件。
配准是融合的前提,也是决定图像融合技术发展的关键技术,若事先不对待融合图像进行空间上的配准,那么融合后的图像也是毫无意义的。
近几十年以来,图像配准在医学上的应用日益受到医学界和工程界的重视,己在世界范围广泛展开,在相关文献中己经提出了很多种医学图像配准的方法,这些研究成果广泛地运用到医学领域中。
图像配准在医学中的应用领域主要有以下几方面:1)组织切片图像的处理与显微结构三维重建;2)疾病诊断及其发展和消退的过程检测;3)神经外科手术可视化!神经外科手术一计划及术前评估;4)感觉运动和认知过程的神经功能解剖学研究;5)神经解剖变异性的形态测量分析学;6)放射治疗和立体定向放射外科治疗计划;总之,开展医学图像配准研究,探索提高配准精度、速度和鲁棒性的理论和关键技术,对于完善配准理论、拓展配准的应用领域等都具有重要的理论和实践意义。
现状、问题点经过多年的研究,图像配准技术无论在医学还是在遥感图像处理都已经取得了很多研究成果,但是由于科技的不断发展促使新的应用不断涌现、图像采集设备的复杂多样性,并且不断更新换代、影响图像配准的因素的复杂性多样性等并且随着近年来某些具体应用对各种性能指标要求的不断提高,图像配准技术也必然产生一些新的急需解决的问题,所以图像配准的技术还有待于进一步完善发展,例如:提高图像配准的自动化程度、提高图像配准的精度、克服图像离散化对图像配准精度带来的负面影响、改善图像配准算法的运算效率、稳定性、鲁棒性和可靠性、提出有效衡量图像配准结果好坏的评价标准等等。
主要技术手段图像配准方法的关键步骤特征值提取(特征包括:直线的交点、角点、直线、边界轮廓、封闭的区域最具代表性的是点、曲线、轮廓;特征点又称图像配准基准点)特征值匹配(首先要根据所选的特征,选取并计算合适的特征描述子。
其次,选取合适的相似度量函数,以便计算特征之间的匹配程度;最后,根据计算出的候选匹配关系找出正确匹配特征对集)集合变换模型的选取及参数的确定(根据所得到的特征间的对应关系,计算出选定的几何变换模型的参数。
然后再根据相似度量函数优化已计算出的几何变换参数,以实现图像的精配准)配准图像的重新采样及图像的匹配(根据具体应用的需求,选取合适的插值函数,用已经计算出的精确的几何映射函数,将浮动图像映射到基准图像的坐标空间,从而实现图像的配准操作。
)图像配准方法可分为三类:基于灰度信息法,基于变换域法和基于特征法。
在选取几何变换模型时必须综合考虑成像传感器、成像平台、成像条件、拍摄场景等各方面的因素,使选择的变换模型尽可能真实的反映参考图像和待配准图像之间的几何变换关系。
图像配准中采用的变换模型主要分为以下两大类:(1)全局变换模型(Global Transformation),它将基准图像和浮动图像之间的几何变换关系用一个函数来表示。
这样图像之间的配准问题便转换为如何优化求解所选定的几何变换模型的参数值的问题。
这种变换模型为现有的大多数配准方法所采用;(2)局部变换模型(Local Transformation),通常被用在基准图像和浮动图像之间的空间变换关系非常复杂,不能用一个函数来表示的情况下,如大尺寸图像之间的配准。
局部变换模型将基准图像和浮动图像不同部分的空间对应关系用不同的函数表示这种变换模型在现有的图像配准方法中应用较少图像配准中常用的几何变换模型主要包括:1.刚体变换(rigid body transformation):刚体变换可分解为平移、旋转以及反转,它变换特性是图像中的两点在变换后欧氏距离保持不变,且两条直线的平行或垂直关系不变。
在二维空间中,点(x,y)通过刚性变换至点(x’,y’)的过程可表示为···2.相似变换(Similarity Transformation)(旋转平移缩放4自由度两点确定):物体经过相似变换后,其形状保持不变。
相似变换能够将相互平行的直线映射成平行直线,相互垂直的直线映射成为垂直直线。
适用于具有相同视角不同拍摄位置的同一传感器的两幅图像。
3.仿射变换(Affine Transformation)(旋转平移缩放剪切变换;最常用的几何变换模型6自由度3点确定):如果第一幅图像中的一条直线经过变换映射到第二幅图像上仍然为直线,并且保持平衡关系,这样的变换称为仿射变换。
他比刚体变换多了缩放变换。
这种变换将直线依然映射为直线,并保持直线间的平行关系但不保持直线段长度和他们的角度。
在二维空间中,点(x,y)经仿射变换到点(x’,y’)的变换公式为···4.投影变换(Projective transformation)(它可以折为一系列的基本变换包括平移旋转缩放剪切8个自由度4点确定);如果一幅图像中的一条直线经过变换后映射到第二幅图像上仍是直线,但平行关系基本不保持,则这样的变换称为投影变换,一般用于成像视点的图像配准问题中,在二维空间中变换公式为···5.非线性变换(Nonlinear transformation):如果第一幅图像中的一条直线经过变换后映射到第二幅图像上不再是直线,则这样的变换称为非线性变换,一般用于比较复杂的图像畸变中变换公式为···6.若投影变换(Projective Transformation):它可以折为一系列的基本变换,包括、平移、旋转、缩放、剪切变换,由3点不共线的四个点唯一确定。