基于特征点的图像拼接算法研究指导教师：学生姓名：学号：专业：计算机技术院（系）：信息工程学院完成时间：2013年11月摘要:图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。
图像拼接的过程由图像获取，图像配准，图像合成三步骤组成。
其中图像配准是整个图像拼接的基础。
本文研究了基于特征图像配准算法。
利用基于特征Harris角点检测算法提取出初始特征点对，实现实现特征点对的精确匹配。
最后用加权平均对实现图像融合。
实验证明该算法适应性较强，在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。
同时该算法准确率高，鲁棒性强，具有较高的使用价值。
关键词：：图像拼接图像配准特征点图像合成Abstract:Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other,and finally builds a seamless and high quality image which has high resolution and big eyeshot．The image mosaic process consists of the following steps．Image acquisition,image registration,image fusion．fusion．Image registration is the important foundation of image mosaic．This article has studied a image registration algorithrm feature-based image registration algorithm．Firstly,corners are extracted using improved Harris operator to extract the initial feature point pairs.Then,the correct matching feature point pairs are used to realize the image registration．Finally,use the Weighted Average Fusion Rule to fuse the images.The experiment results indicate this algorithmhas better registration results under a variety of conditions such as different light,bigger rotation and repetitive texture.At the same time,this algorithm has good effect in image registration,high accurate rate,strong robustness，higher use value．Key words:Image mosaic Image registration Feature points Image fusion目录第一章绪论 (1)1.1图像拼接的研究意义 (1)1.2国外研究现状 (1)第二章图像拼接基本理论 (3)2.1成像基础 (3)2.1图像变换模型 (3)2.2图像拼接流程 (5)2.3图像配准算法 (6)2.4图像合成 (8)第三章基于特征的图像配准 (9)3.1基于点的特征提取 (9)3.2基于Harris角点检测算法 (9)3.3特征点匹配 (10)3.3图像融合 (11)第四章实验分析 (11)4.1实验 (11)实验结论 (12)参考文献 (14)第一章绪论1.1图像拼接的研究意义随着计算机技术的发展，计算机在各个学科领域得到了应用。
数字图像处理随之产生。
同时，图像拼接技术也得到了广泛的应用。
日常生活中，要获得视野场景图像时，必须调节相机的焦距，通过缩放镜头拍摄到的照片分辨率比较低。
研究图像拼接就是为了把图像的各个部分通过对齐一系列空间重叠的图像，不降低图像分辨率的条件下获取大视野范围的场景照片。
它可以解决由于相机等成像仪器视角和范围的限制，不能一次获得大视野图片的问题。
图像拼接技术主要是利用计算机进行自动匹配，构造一个无缝高清图像。
1.2国外研究现状图像配准和拼接在计算机诞生前就已经应用，当时人们为了获得大场景图片需要专业人员手工利用有重叠区的照片来构造拼接图。
随着科技的日新月异，这项工作渐渐被计算机所取代。
1992年，英国剑桥大学的Brown L.G[1]总结了图像拼接主要理论及在各个领域的应用。
当时他讨论图像拼接技术主要还是着眼于医学图像处理、遥感卫星处理等领域。
目前在虚拟现实、视频压缩、视频编码及图像超分辨率复原等新领域都有应用。
1996年，Szeliski R和Coughlan J提出一种2D空间八参数投影变换模型来进行图像配准，用Levenberg-Marquardt迭代非线性最小化方法搜索参数空间的办法获得变换参数。
这种方法在处理具有平移、旋转、仿射等多种变换的待拼接图像效果好，收敛速度快，因此成为图像拼接领域的经典算法。
Peleg S等人在此基础上作了进一步研究，于2000年提出了自适应图像拼接模型，根据相机的不同移动而自适应选择拼接模型。
1975年，Kuglin CD和Mines D.C提出相位相关法，此后Castro E.D和Morandi C提出了扩展相位相关法，利用傅里叶变换的性质能够实现具有旋转和平移变换的图像配准[9]。
随着快速傅里叶变换算法的提出，SrinivasaR.B和Chatterji B.N提出了基于FFT的图像配准方法，可以实现包含平移、缩放、尺度变换在内的图像配准问题。
其他还有基于图像灰度的匹配算法，基于图像特征的匹配算法等等。
目前图像配准技术已经取得了许多研究成果，但是由于图像来源的多样性，以及配准的要求不同等等因素和配准的复杂性，图像配准技术还需要进一步发展。
第二章图像拼接基本理论2.1成像基础成像包括两个过程，一是几何过程，即场景中的点投影到摄像机的过程。
二是物理过程，主要决定平面上每个像素的亮度。
图像采集需要将客观世界的3D场景投射到2D平面上，这个成像变换过程牵扯到不同坐标系的变换。
下面介绍具体所涉及的坐标系系统。
世界坐标系，即真实的现实世界坐标系XYZ系统。
(1)摄像机坐标，以观察者为中心的坐标XYZ系统，一般取摄像机的光轴为Z轴。
(2)像平面坐标，在摄像机内所形成的坐标系统，表示场景在像平面上的投影。
一般像平面与摄像机坐标系统的XY平面平行。
(3)计算机图形坐标，表示图像阵列中图像像素的位置。
例如[u,v]表示图像网格中的行数和列数，即像素坐标。
因为数字图像最终要输入计算机内存放，所以像平面坐标都要转换为计算机图像坐标。
常用的成像系统是将三维场景变换成二维灰度或彩色图像。
这种从二维到三维的变换被称为映射。
主要的映射方法有两种：透视投影和正交投影。
透视投影是最常用的而正交投影应用较少。
透视投影主要利用小孔成像原理，通过投影矩阵进行变换将3D世界坐标系转换为计算机的2D坐标。
2.1图像变换模型图像获取过程中，图像状态由摄像机的运动状态所决定。
摄像机的运动可以分为平移运动、镜头缩放、水平扫动、垂直扫动和旋转运动。
摄像机的不同运动方式对成像会产生不同效果，主要会产生梯形失真和线性调频现象。
梯形失真指的是原来场景中的平行线在图像中相交；线性调频指的是图像随着空间位置变化其空间频域随之增大或减小。
但是拍摄环境复杂多变，摄像机的运动不能用单一某种运动描述，而是几种运动的合成。
下面是几种常用图像变换模型。
1.刚体变换：如果第一幅图像中的两点之间的距离变换到第二幅图像后仍保持不变，则这样的变换称为刚体变换。
刚体变换可分解为平移、旋转和反转(镜像)。
其变换矩阵M为：在二维空间中，点（x,y）经过刚体变换到点（,）的变换公式为：其中为旋转角度，为平移量。
刚体变换具有三个自由度，理论上选择至少两对点就可确定。
2．仿射变换：如果第一幅图像中的一条直线经过变换后映射到第二幅图像上仍然为直线，并且保持平行关系，则这样的变换称为仿射变换。
仿射变换可以分解为线性(矩阵)变换和平移变换。
其变换矩阵M为：M=在二维空间中，点（x,y）经过仿射变换到点（，）的变换公式为：=+其中为实数矩阵。
仿射变换矩阵具有6个自由度，理论上选择至少3对不共线的控制点可以解出所有的参数。
3.投影变换：如果第一幅图像中的一条直线经过变换后映射到第二幅图像上仍然是直线但是平行关系没有保持，这样的变换称为投影变换。
投影变换具有更一般的形式，可以描述摄像机的平移、水平扫动、垂直扫动、旋转、镜头缩放等运动。
刚性变换和仿射变换可以看做是投影变换模型的特例。
其变换矩阵M为：M=在高维空间中，点（x,y）经过投影变换到点（,）的变换公式为：=+其中，为实数矩阵。
投影变换矩阵有8个自由度，理论上选择至少4对点来确定。
4.非线性变换：如果第一幅图像中的一条直线经过变换后映射到第二幅图像上不再是直线，这样的变换称为非线性变换。
在二维空间中，点（x,y）非线性变换到点（，）为（，）=F(x,y)。
其中F表示把第一幅图像映射到第二幅图像的任意一种函数形式。
多项式变换就是一种典型的非线性变换。
非线性变换多适用于具有全局性形变的图像配准问题。
下图给出几种变换的例子：图2.12.2图像拼接流程图像拼接过程由拼接预处理、图像配准、图像合成三步骤组成。
图2.2图像预处理是为了保证图像配准的精度对原始图像做一些折叠或坐标变换，例如直方图操作或图像平滑滤波、建立图像的匹配模板、傅里叶变换或小波变换以及提取图像特征集合等[4]。
图像配准的核心是寻找一个变换。
即找到待拼接图像中模板或特征点在参考图像中的位置，然后根据模板或图像特征之间的对应关系从而建立两幅图像的数学模型，使图像间重叠部分对准，将待拼接图像转换到参考图像的坐标系中构成完整图像。
图像合成是最后一步。
当准确计算出图像间转换参数后，需要根据参数把多张图像合成一张全景图。
此时图像配准的结果存在误差，不可能每一点都精确匹配。
图像合成的策略是要尽可能减少遗留的变形和图像之间的差异。
主要的方式有光度调整混合、确定重叠区域和消除拼缝等等。