b)图像配准。 就是 采用 一定 的匹 配策 略, 找出 待拼 接图 像中的模板或特 征点在参考图像中对应的位置, 进而确定两幅 图像之间的变换 关系。
c)建立变换模型。根据模 板或者图 像特征 之间的 对应关 系, 计算出数学模型中的各 参数值, 从而 建立两 幅图像 的数学 变换模型。
d)统一坐标 变换。 根据 建立 的数 学转 换模 型, 将待 拼接 图像转换到参考 图像的坐标系中, 完成统一坐标变换。
0 引言
图像拼接技术 就是将 数张 有重 叠部 分的 图像 ( 可能 是不 同时间、不同视角或者不同传感器 获得的 )拼成 一幅大 型的无 缝高分辨率图像的技 术。使用普 通相机 获取宽 视野的 场景图 像时, 因为相机的分辨率一定, 拍摄的场景越大, 得到的图像分 辨率就越低; 而全景相机、广角 镜头等不仅非常昂贵, 而且失真 也比较严重。为了在不 降低图像 分辨率 的条件 下获取 超宽视 角甚至 360b的全景图, 利 用计 算机进 行图 像拼 接被 提出 并逐 渐研究发展起来。现在, 图像拼接技术已经成为计算机图形学 的研究焦点, 被广泛应用于空间探测、遥感图像处理、医学图像 分析、视频压缩和传输、虚拟现 实技术、超分辨率重构等领域。
第 7期
王 娟, 等: 图像拼接技术综述
# 1941#
位置, 然后确定两张图像的变换关系, 即 图像配准。由于视角、 拍摄时 间、分 辨率、光照强度、传感器 类型等的 差异, 待拼接的 图像往往存在平移、旋转、尺 度变化、透视 形变、色差、扭曲、运 动目标遮挡等差别, 配准的目的就是找出一种最能描述待拼接 图像之间映射关系的 变换模 型。目前常 用的一 些空间 变换模 型有平移变换、刚性变换、仿射变换以 及投影变 换等 [ 4] , 如图 2 所示。
第 25卷第 7期 2008年 7月
计算机 应用研究 Application R esearch of C om puters
V o.l 25 N o. 7 Ju.l 2008
图像拼接技术综述*
王 娟1, 师 军1, 吴宪祥 2
( 1. 陕西师范大学 计算机科学学院, 西安 710062; 2. 西安电子科技大学 机电工程学院 IC IE 研究所, 西安 710071)
根据各参数的意 义及不 同变换 模型 的特 点, 对矩阵 M 作
相应简化就可以得到 各变换 模型的 参数矩阵。 本文主 要讨论
刚性变换模型图像配准 的一些 算法, 即只 考虑平移、旋 转和尺
度缩放。
设 I1 为与 I2 具有平移、旋转和尺度关系的图 像: I1 ( x, y) = I2 [ s(x cos H0 + y sin H0 ) - $x, s( - x s in H0 + y cos H0 ) - $y ] 其中: ( $x, $y )为平移参数; H0 为旋转角; s 为尺度缩放因子。
Survey o f im age m osaics techn iques
WANG Juan1, SH I Jun1, W U X ian-x iang2 ( 1. S chool of C omputer Science, Shaanx i N orm al Un iversity, X i. an 710062, Ch ina; 2. ICIE Institute, S chool of E lectrom echan ica l Eng ineering, X id ian Un iversity, X i. an 710071, Ch ina )
e)融合重构。将带拼接图 像的重合 区域进 行融合 得到拼 接重构的平滑无 缝全景图像。
图 1给出了图像拼接的基本流 程图。
2 图像配准
图 像拼接的关 键是精确找 出相邻两 张图像中重 叠部分的
收稿日期: 2007-07- 10; 修回日期: 2007-09-19 基金项目: 国家 / 8630计划资助项目 ( 2006AA 01Z127) 作者简介: 王娟 ( 1980- ) , 女, 山东沂水人, 硕士研究生, 主要研究方向为 数字图像处理 ( h iw angjuan@ stu. snnu. edu. cn) ; 师军 ( 1957- ) , 男, 副教 授, 主要研究方向为人工智能、数字图像处理等; 吴宪祥 ( 1980-) , 男, 讲师, 博士研究生, 主要研究方向为智能信息处理、计算机视觉等.
摘 要: 给出了图像拼接的一般流程, 在此基础上将图像拼接技术分为两个关键技术 )) ) 图像配准技术和图像
融合技术, 并分别对图像配准技术和图像融合技术的经典算法及最新算法作一概述和比较。
关键词: 全景图像; 图像拼接; 图像配准; 图像融合
中图分类号: TP391
文献标志码: A
文章编号: 1001-3695( 2008) 07- 1940- 04
图像的平移关系 比较容易检测和配准, 但旋转和尺度缩放 的检测比较困难。许多 新的图像 配准算 法都是 针对这 一特点
进行算法设计的。图像 配准算法 大体可 分为基 于特征 的图像
配准和基于区域的图 像配准两类。
21 1 基于特征的图像配准 基于特征的图像 拼接是利用 图像的 明显特 征来估 计图像
具体的配准 步骤为: a)利用角点检测算子检测图像中的角点; b)利用控制点 匹配 算法 对检 测到 的角 点进 行匹 配, 找出 角点匹配对; c)剔除伪匹配对, 得到 正确匹 配对, 根据这 些匹配 对计算 出变换参数; d)进行拼接融合得到全 景图像。 基于特征点 的配准算法量 较小, 配准精 度高, 缺点是 边缘 信息少的图像、大旋转和大尺度缩放的图像和多光谱图像不能 很好地进行配准 。 21 11 3 基于轮廓特征的配准算法 基于轮廓特 征的配准算法 首先对图 像进行 直方图 均衡和 去噪处理, 再对图像进行轮 廓提取, 然后 对提取 的轮廓 进行配 准, 进而确定重叠区域。轮廓的匹配准则可以选取链码相关或 者其他一些相似 性准则, 如主轴 和不变矩等。文 献 [ 7] 利用两 幅图像中分割得 到的较大轮廓 的质心进 行匹配 估计出 变换参 数, 从而达到配准的目的。 基于轮廓特 征的配准算法适用于光照不一致、存在尺度关 系及旋转的图像 。该方法 需要准确提取出明显的轮廓特征, 对 于数据的缺失 比较 敏感, 要 求两 幅图 像的 对应 轮廓 要比 较完 整。对于轮廓特征不 明显或 噪声干 扰较大 的图像不 适用。文 献 [ 8]给出了两 种基于轮廓的配准方 法: 一种 基本的基 于轮廓 的配准方法适于配准轮 廓明显、噪 声小的 可见光图 像; 另一种 弹性的基于轮廓 的配准方法可以用来处理轮廓特征不明显、噪 声大的 SAR 图像。 21 11 4 基于 SIFT (尺度不变 特征变换 )的配准算法 SIFT ( sca le inva riant feature transform ) 配准算 法由 Low e于 1999年提出, 2004 年完善 总结 [ 9, 10] 。该算 法利 用图 像关 键点 的 S IFT 特征向量进行匹 配, 是 目前国 内外特 征点 配准领 域的 研究热点。 基于 S IFT 的配准算法主要步骤如下: a)检测尺度空 间极 值点, 初 步确 定关 键点 的位 置和 所在 尺度。 图像 I ( x, y )在不同尺度下的 尺度空间可 表示为图 像与高 斯核的卷积:
图像配准和图像 融合是图 像拼接 的两个 关键技 术。图像 配准是图像融合的基 础, 而且图像配准算法的计算量一般非常 大, 因此图像拼接技术的发展很大程度上取决于图像配准技术 的创新。早期的图像配准技术 主要采用点匹配法, 这类方法速 度慢、精度低, 而且常常需要人 工选取初始匹配点, 无法适应大 数据量图像的融合。近十年来 , 许多图像自动拼接技术被提出 并实现。 1992年, 剑桥 大 学的 B rown概 述 了图 像配 准技 术的 基本理论以及主要方 法 [ 1]。 2003年, Z itov等人综述了随后十 年的图像配 准领域 的相 关方法 [ 2]。 2004年, 国 内关 于图 像拼 接技术的综述性文献 [ 3]把图像拼 接技术 分为基 于自适 应流形 和基于人工确定流形 两类进行论述, 但是一些较新的技术没有 介绍。
Ab stract: F irstly, this paper presen ted the flow of the mi ag e mosaics. T hen, introduced and d iscussed the recent a lgor ithm s as w ell as the classical a lgor ithms o f the mi age reg istration techniques and the mi ag e fus ion techn iques, as tw o key techn iques o f the mi age m osa ics. K ey words: panoram ic mi ag e; mi age m osa ics; mi age reg istration; mi ag e fus ion
可以用矩阵的形 式来描述上述关系模型 ( 8参数模型 ):
x^
m0 m1 m2
y^ = m 3 m 4 m 5
1
m6 m7 1
x
x
y =M y
1
1
其中: 参数矩阵 M 中各参数的作用如表 1所示。
表 1 投影变换矩阵 M 中各参数作用
参数
m2 m5 m0 m 1 m 3 m 4 m6 m7
作用 水平方向位移 垂直方向位移 尺度和旋转量 水平与垂直方向的变形量
之间的变换, 而不是利用图像全部的信息。这些明显特征如图 像的特征点 (角点或关键点 )、轮廓和一些不变矩等。 21 11 1 控制点配准算法
根据前面提到的 8参数模型, 图像的配准问题可以归结为 求解对应点集。在待配准的图 像中选取一些特征点, 对准了这 些特征点, 两幅图像也就配准了。控制点法往往要借助人工选 取初始匹配点 [ 4], 这 大大 降低 了算 法的 速度 和适 用范 围。因 此有必要采 用 一些 数 学方 法 自 动实 现 图像 间 对应 控 制 点的 选取。 21 11 2 自动角点检测配准算法