图像拼接方法总结图像拼接方法总结 (1)引言 (1)1 基于网格的拼接 (3)2基于块匹配的拼接（也叫模板匹配） (4)3基于比值法拼接 (6)4 基于FFT的相位相关拼接 (7)基于特征的图像配准方法 (9)5 Harris角点检测算法 (10)6基于SIFT尺度不变特征的图像拼接 (15)SIFT主要思想及特点 (16)SIFT算法详细过程 (16)SIFT匹配算法实现 (20)7 基于surf 的图像配准 (22)SURF算法介绍 (22)算法详细过程 (23)8 基于最大互信息的图像配准 (24)9 基于小波的图像拼接 (27)10 基于轮廓特征的图像拼接技术 (27)引言首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合，图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。
图像预处理包括：图像投影、图像去噪、图像修正等。
图像配准采用的算法主要有两类：一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。
另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，速度提高）特征算法，第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这三个分量进行基于区域的拼接，分别得到三个分量的拼接结果，最后进行小波重构即可获得完整的图像）。
图像的融合：1直接平均值法、2基于小波变换、3线性加权法4 最大值法5 多元回归算法1 基于网格的拼接优缺点：计算量大，精度高，很难选择初始步长。
方法：可在一幅图像的重叠区域中取一个网格，然后将网格在另一幅图像上依次移动，计算两幅图像中所有网格点中对应像素点的RGB值的差的平方和。
找出其中的最小值，并记录其对应的网格位置，即是最佳匹配位置。
为了减少运算量并提高匹配精度，将算法分为两个步骤:首先是粗匹配，网格每次水平或垂直移动一个指定的网格间距。
接着是精确匹配，算法假设当前点为最佳匹配点并以此为中心，网格分别向上下、左右各移动一个小步长，计算该网格点对应像素差的平方和，将其中的最小值与当前值进行比较，如果此值比当前值优，则替换当前点，成为新的最佳点。
该步骤的初始步长定为第一步移动步长的一半，依次循环进行，每次循环步长减为当前值的一半，直到水平步长和垂直步长均减为零为止。
下面简单说明该算法，为了方便描述，假设两幅图像重叠区域在50～150个像素，网格模板数为9*9，网格水平间距和垂直间距均为10个像素，网格上的A点与第二幅图像边界的A点(即是边界的中点)重合，假设第二幅图像中的A点为最佳匹配位置。
经过算法拼接后的结果如图1(b)所示。
图 2 网格模板匹配算法框图相关文章有：1 一种改进的变网格模板数字图像快速拼接2 基于网格模板的最小欧氏距离准则图像自动拼接3 一种基于网格的数码相机数字化图像纠正拼接算法2基于块匹配的拼接（也叫模板匹配）基于像素的算法是在一幅图像中选取一个模板,根据评价函数在另一幅图像中寻找与之最相似的点或区域。
该算法对图像存在大量相似区域且重叠部分较小的情况,模板块选取的随性会使拼接出现很大误差.先对两幅相邻图像进行特征点提取,然后根据特征点的位置在第一副图像确定模板块的大小,在第二幅图像确定搜索范围,然后进行匹配计算,完成图像拼接。
本文采用精度较高的Harris角检测算子来提取特征点。
（下面章节详细介绍）基于模板匹配的图像拼接就是在图像的已知重叠区域中裁剪出一块矩形区域作为模板,和被搜索图像中同样大小的一块区域进行对比,根据两个区域特征的相似程度来确定最佳的匹配位置。
若模板选择得不理想,则提取的模板可能会因为特征不明显而导致误匹配。
基于模板匹配的全景图像拼接算法可描述为:Step1:划定模板图;Step2:在匹配图中设定搜索范围,找出与模板图具有最大相似性的位置；Step3:调入包含图,根据最大相似位置无缝拼接。
在拼接算法中,第1步模板的选择对匹配的准确度影响很大,而计算时间消耗最大的是第2步,即模板匹配。
本文在已有的模板匹配理论基础上,对这两点不足作了改进。
首先根据Harris算子提取的特征点的位置确定模板块的位置。
在第一幅图像重叠区域,对Harris算子提取的特征点按I值大小进行排序,并选择其中I值最大的3个点确定一个模板。
这3个特征点要满足不在一条直线上的条件,且每两点间距离要大于某一定值p且小于q。
根据此原则确定的模板大小为M×N,p和q的设定是为防止模板过小或者过大,因为模板过小会使匹配精度降低,过大则影响计算的速度。
记下所选模板中I值最大点在模板中的位置(i,j)和模板内特征点个数T。
图1匹配流程图然后在第二幅图像内进行由粗到精的模板匹配。
在第二幅图像重叠区域内以每个特征点作为待搜索模板中的位置(i,j),以此来确定大小为M×N的模板,并统计各搜索模板内特征点个数Ni。
当Ni与第一幅图像中所确定模板内的特征点个数T相差很大时,可将该模板区域直接删除,不进行下一步的精确匹配,即互相关运算,仅对满足条件的几个搜索待匹配模板,进行相关运算,确定精确匹配,即:当为设定个数),则在此搜索模板内不与确定模板进行相关运算;当时,该搜索模板与确定模板进行相关运算,寻找最优匹配块。
本文利用互相关系数法来确定与模板块最为相似的匹配块:式中, 为确定模板图像上点的灰度值, 为待匹配模板图像上点的灰度值,C为互相关系数,当C=0时,表示不相关,当C=1时,表示完全相关。
在进行相关运算中,最大相关系数的地方即为目标图像所在的位置。
最后比较几次相关运算得到的C值,确定两幅图像最佳配准点的位置。
参考文章：1 特征提取与模板匹配结合的图像拼接方法2 边缘重叠图像拼接中的特征选取3 基于块匹配和特征点匹配的图像拼接算法研究4 基于ROI块匹配的全景图像拼接鲁棒性方法5 图像拼接技术及其在眼底摄像中的应用6 图像模板匹配快速算法研究3基于比值法拼接优缺点：计算量大，精度高，利用图像信息少，只利用2条竖直的平行特征线段，对图像采集提出了较高要求，不适用于旋转或者纹理特征较多的图像。
方法：算法的思路是选取一幅图像重叠部分中间隔的一定距离的2列的比值作模板,在第二幅图像中对应重叠区域搜索最佳匹配,找到与第一幅图像索取模板对应的2列,实现拼接.如图1所示,图1a为(W1×H)像素的图像,图1b为(W2×H)像素的图像, W1和W2可以相等,也可以不等.图1a和图1b为左右重叠关系,图1a在图1b的左边,本文暂不考虑垂直方向重叠的问题,垂直方向重叠与水平方向类似.在图1a的重叠区域选取间隔为span的2列像素(第j列和第j+span列),计算其对应像素比值,即为a模板,a(i)=P1(i,j)/P1(i,(j+span)),其中i∈(1, H),j为选定的列.在第二幅图像中从第一列起依次取间隔为span的2列,计算其对应像素的比值即为b模板,b(i,j)=P21(i,j)/P22(i,j),其中p21(i,j)=P2(i,j),(i∈(1,H),j∈(1, W2-span))P22(i,j)=P2 (i,j),(i∈(1,H),J∈(span+1,W2)).计算a模板与b模板差值,即为c模板.c(i,j)=(a(i,j)-b(i,j))2,其中(i ∈(1,H),j∈(1, W2-span)).c为二维数组,计算c对应的列向量求和,就得到sum,sum(j)=∑Hi=1c (i,j),sum(j)的大小就反映了两幅图像选定像素对应的列的差异,sum(j)的最小值Summin对应的列坐标Collablemin即为最佳匹配.相关文章：1基于比值法图像拼接算法研究4 基于FFT的相位相关拼接优缺点：图像的旋转，平移，比例变换都能在傅里叶变换域中反映出来，利用变换域方法还有可能获得一定程度的抵抗噪声的鲁棒性，同时傅里叶变换可以采用FFT的方法提高执行的速度，另外，傅氏变换由于有成熟的快速算法和易于硬件实现，方法：首先在参考图像中心处截取一个小区域图像,然后在待配准图像中寻找一个同样大小的区域,使得在对数极坐标表示下,这两个小区域图像的互功率谱经傅里叶反变换后是一个二维脉冲信号。
所要寻找的小区域中心点在待配准图像中的位置即为所要估计的平移参数,二维脉冲信号中脉冲的位置与缩放因子和旋转角度有关,由此而得到图像配准参数。
相位相关是用于配准图像的平移变换的典型方法,其依据是傅立叶变换的特性.设f1(x,y)和f2 (x,y)是两幅图像.(x0,y0)是两幅图像间的平移量,则有则它们之间的傅立叶变换F1(u,v)和F2(u,v)满足下式:这就是说,两幅图像具有相同的傅立叶变换和不同的相位关系,而相位关系式由两者之间的平移直接决定的.定义两幅图像的互能量谱如下:设G(u,v)是f1(x,y)和f2(x,y)的互能量谱,这里F*(u,v)是F(u,v)的共轭.如果两图像间仅有平移变化,则对式(4)取傅立叶反变换,就会得到一个冲击函数,该函数在其它各处为零,只在平移的位置上不为零.这个位置就是两图像间的平移量.旋转在傅立叶变换中是一个不变量.根据傅立叶变换的旋转性质,旋转一幅图像,在频域相当于对其傅立叶变换做相同角度的旋转.如果两图像f1(x,y)和f2(x,y)间有平移,旋转和尺度变换,设平移量为(x0,y0),旋转角度为θ,尺度变换为r[1],则有则它们的傅立叶变换满足模,对上式取模得到当r=1时,两图像间仅有平移和旋转变换.此时可以看出两个频谱的幅度是一样的,只是有一个旋转关系.通过对其中一个频谱幅度进行旋转,用最优化方法寻找最匹配的旋转角度就可以确定.当r≠1时,对式(6)进行极坐标变换,可以得到对第一个坐标进行对数变换,得到变量代换后写为这样,通过相位相关技术,可以一次求得尺度因子r和旋转角度θ,然后根据r和θ对原图像进行缩放和旋转校正,再利用相位相关技术求得平移量步骤：由上面的相位相关技术原理可以看出,要得到配准好的图像,首先利用笛卡尔坐标到对数极坐标的转换求出比例因子和旋转角度,按此值对欲配准图像变换后,再利用互能量谱与反变换计算求出平移量,最后进行相应的变换就可得到配准好的图像.具体的基于傅里叶梅林变换的图像配准过程如下:1)对原图像进行傅立叶变换,并求出各自的能量.2)高通滤波.3)将滤波后的各图像转换为对数极坐标的形式,并求其互能量谱,从而得到比例系数和旋转角度.4)将欲配准的图像旋转、比例放大后再与原图像计算互能量谱,从而得到平移量.参考文章：1 基于matlab的傅里叶梅林变换算法图像拼接的实现2基于相位相关的图像配准算法3基于频域的遥感图像互信息配准方法4基于频域和时域相结合的医学图像配准算法5基于傅里叶变换的红外热波图像拼接6基于位相相关检测的图像配准算法7 一种改进的频域相关法图像快速配准8一种傅里叶—梅林变换空间图像快速配准算法基于特征的图像配准方法(1)图像的特征点比图像的像素点要少很多，从而大大减少了匹配过程的计算量。