m0 x + m1 y + m2 x = m6 x + m7 y + 1
'
m3 x + m4 y + m5 y = m6 x + m7 y + 1
'
L-M 非线性最小二乘算法（cont.）
（b）计算误差梯度
∂e ∂I ∂x ∂I ∂y = ' + ' ∂mk ∂x ∂mk ∂y ∂mk
' ' ' '
图像拼接简介
图像拼接简介
图像拼接中的几个主要问题：
使用图像数据和摄像机模型对几何失真 进行校正。 使用图像数据及摄像机模型进行图像对 齐。 消除拼接图像中的接缝。
摄像机运动模型
在拍摄过程中由于摄像机镜头的运动，使得拍摄到的相邻 两幅图像中的景物会出现几何形变。 通过寻找能够恰当地将一幅图像与另一幅图像对准的几何 变换来将两幅图像对齐。这些变换被称为对应 (homography)。换句话说，这些几何变换是一种映射， 两幅有重叠区域的图像，其中一幅图像重叠区域中的一个 点经过这种几何变换将被映射到另外一幅图像重叠区域中 的某个点上。这样这两个点形成了对应关系。 在固定位置拍摄的条件下，我们通常使用8-参数运动模型 以及其简化形式来概括或计算这些几何变换。
拼接实验(1)
2.5
x 10
7
2
intensity error
1.5
1
0.5
0
0
5
10
15 iterative number
20
25
30
后续工作 改进图像对齐算法：使用全局对齐算法以 减少累计误差，并最终实现自动对齐而无 续人工干预。 图像合成部分可以通过直方图均衡化或者 平滑函数等方法来对图像拼接后的出现的 接缝进行处理。
内容提要 图像拼接简介 图像拼接的主要步骤 摄像机运动的投影模型（projective model) 图像的对齐(registration) 图像的合成(blending) 图像拼接试验
图像拼接简介
什么是图像拼接？
将多幅在不同时刻、从不同视 角或者由不同传感器获得的图像 经过对齐然后无缝地融合在一起， 从而得到一幅大视场、高分辨率 图像的处理过程。该图像被称为 全景图。
摄像机运动模型
homography
摄像机的8-参数运动模型
常见的几种几何变换：
平移 （translation)
旋转 (rotation)
水平切变 (horizontal shear)
投影 (projection)
8-参数运动模型
假设 p ' ( x' , y ' )T 和 p = ( x, y ) 分别是一个象素点的新旧坐 标，一个二维仿射变换可以写为： p ' = Mp + t 或是 x' = a11 a12 x + t x y' a a22 y t y 21
当引进尺度参数W后，就得到了8-参数模型：
X ' a11 Y ' = a21 W a 31 a12 a22 a32 a13 x a23 y 1 1
8－参数运动模型 平移、刚体、仿射以及透视变换对应的变 换矩阵M的形式：
对齐算法流程
投影到统一坐标系
初始变换矩阵M 初始变换矩阵
非线性最小 二乘法进行 优化
图像合成
最终变换矩阵M 最终变换矩阵
初始变换矩阵的获取 初始变换矩阵M可以通过提取特征点或者在 频域上计算两幅图像的相位相关等方法来 得到。 MATLAB中内建有cpselect函数，该函数允 许用户在将要拼接的两幅图像的重叠区域 中手工选取一定数量的匹配特征点对然后 自动给出两幅图像之间的初始变换矩阵。
1 0 tx = 0 1 ty 0 0 1
m0 = m3 0 m1 m4 0 m2 m5 1
M 平移
M 刚体
cosθ = sin θ 0
− sin θ cosθ
0
tx ty 1
M 仿射
M 投影
图像拼接简介 传统全景图(panorama)
是由在一个固定位置上以不同角度拍摄到的一 系列图像拼接而成的大视场图像。 特点：没有或只有轻微的运动视差
多重投影拼接图(multi-perspective mosaic)
是由在一些不同位置上拍摄到的一系列图像拼 接而成的大视场图像。 特点：存在较大的运动视差（motion parallax)
（c）计算Hessian矩阵A和加权梯度向量b,其中
∂ei ∂ei akl = ∑ ∂mk ∂ml ∂ei bk = −∑ ei ∂mk
L-M 非线性最小二乘算法（cont.）
2.求解方程 ( A + λI )∆m = b (t +1) = m ( t ) + ∆m 并且更新变换矩阵 m 3.检查误差E的变化，如果增大，则适当地增加λ，重新计 算一个△m，然后重复步骤2；如果减小，则适当地减小λ， 重新计算△m ，然后重复步骤2。 4.不断进行迭代计算直到强度差E低于某一门限或执行完一 定的次数为止。
T
cosθ M = s sin θ
1 M = a 1 M = 0 θ cosθ
尺度和旋转 垂直切变 水平切变
8-参数运动模型
仿射变换在统一坐标系下可以用一个矩阵相乘的 形式来表示：
X ' a11 Y ' = a21 1 0 a12 a22 0 a13 x a23 y 1 1
m0 = m3 m 6
m1 m4 m7
m2 m5 1
图像对齐
图像对齐
找出两幅图像之间最优的空间位置和色彩之间的变换关系，使一 幅图像中的点最优地映射到另一幅图像中。它是图像拼接过程中 的主要任务。
图像对齐方法
所使用的图像特征
特征点 频域 灰度值
优化算法
非线性最小二乘 傅立叶变换 小波变换 动态规划 遗传算法
优化目标函数
假设I‘(x’,y‘)和I(x,y)是两幅需要对齐的图像。 这种方法就是要使I(x,y)和I‘(x’,y‘)的重叠区域中所 有相应象素i的强度值之差的平方和最小，即：
E = ∑ e = ∑ I x , y − I ( x, y )
2 ' ' '
[(
)
]
2
L-M 非线性最小二乘算法
1.对于未对齐图像中（x,y）处的象素点 ， （a）计算它在基准图像中的位置