基于 SIFT 的遥感图像配准方法*
邓传斌1, 郭 雷1* , 李 维2
1. 西北工业大学自动化学院, 西安 710129; 2. 西安工业大学电子信息工程学院, 西安 710032
摘 要: 针对多传感器遥感图像 配准问题, 改进了一种基于 SIF T 的图像自 动配准方法。首先提取图像中适应 尺度变化的 局
直方图的范围是 0~ 360 , 其中每 10 一个柱, 总共 2 4 特征点描述
36 个柱。直方图的峰值则代表了该特征点的方向。
首先将坐标轴旋转为特征点的方向, 对任意一
17 44
传感技术学报
2以特征点为中心 的 16* 16 大小的邻域, 再将此邻域均匀地分成 4* 4 个子区域, 对每个子区域计算梯度方向直方图; 然 后, 对 4* 4 个子区域的 8 个方向梯度直方图根据位 置依次排序, 这样就构成了一个 128 维的向量, 然后 将特征向量长度归一化, 该向量就是 SIF T 特征点 描述。
本文采用尺度不变特征点来配准多传感器图像 和不同分辨率图像。配准过程包括: 不变特征点的
项目来源: 国家自然科学基金资助( 60802084) 收稿日期: 2009 07 20 修改日期: 2009 08 06
第 12 期
邓传斌, 郭 雷等: 基于 SIFT 的遥感图像配准方法
1 743
提取, 最近邻特征点距离与次近邻特征点距离之比 要和它所有的相邻点比较, 看其是否比它的图像域
为了有效地在尺度空间检测到稳定的特征点, 提出了高斯差分尺度空间。利用不同尺度的高斯差
缘的地方有较大的主曲率, 而在垂直边缘的方向有
较小的主曲率。主曲率通过一个 2* 2 的 H essian 矩阵 H 求出:
Dxx Dxy
H=
( 5)
D xy D yy
导数由采样点相邻差来估计得到。
D 的主曲率和 H 的特征值成正比, 令 为最大
m( x , y ) = ( L( x + 1, y) - L ( x - 2, y ) ) 2 + ( L( x , y + 1) - L ( x , y - 1) ) 2
( 9)
( x , y ) = t an2( ( L( x , y + 1) - L ( x , y - 1) ) / ( L ( x + 1, y ) - L ( x - 1, y ) ) )
轻微扭曲的图像 可以进行配准, 配准的速 度较快。 缺点是算法复杂, 而且往往由于特征提取的不完全, 导致匹配率较低[ 1] 。目前, 对于同一传感器、不同时 段、视角变化不大的卫星遥感图像的匹配技术已经 比较成熟, 提取了一些经典 特征提取算法。比如: Susan 算子、H arris 算子等[ 2 ] 。对于不同分辨率、多 传感器图 像之 间 的配 准 是目 前 研究 的 热 点和 难 点[ 3 ] 。目前提出的方法大 多是基于 多尺度 H arris 角点检测特征提取算法的图像匹配技术[ 4] 。
示为( m1i , m2j ) , 其中 m1i 是第一幅图像上的特征点, m2j 是第二幅图像上的特征点; 然后再定义两个分别 以点 m1i 和 m2 j 为中点, R 为半径的邻域 N ( m1i ) 和 N ( m2j ) 。如果( m1i , m2j ) 是一个正确的匹配点对, 那 么在这两个邻域内就必然存在更多正确的匹配点对
特征值, 为最小的特征值, 则
T r( H) = D xx + D yy = +
( 6)
D et ( H) = D xx D yy - ( D xy ) 2 =
( 7)
令 = , 则:
T r( H) 2 Det( H)
=
(
+
)2 = (
+
2
)2 =
(
+
1)
2
(
8)
分核与图像卷积生成。DOG 算子定义为两个不同 尺度的高斯核的差分, 其具有计算简单的特点, 是归 一化 L OG 算子的近似。DOG 算子表示为:
部不变特征点, 提出了利用最近邻特征点距离 与次近邻特征点距离之比的互对应约束得到初始匹配点对, 然后利用 R A NSA C
( Rando m Sample Co ncensus) 算法 删除误匹配特征点对。试验结果表明: 该 方法能够实 现多传感 器遥感图像 和不同 分辨率 图
像的自动配准。
关键词: 图像配准; SIFT ; 互对应约束; RA NSA C
的互对应约束得到匹配点集, 用最小二乘法进行变 和尺度域的相邻点大或者小。中间的检测点和它同
换参数估计。
1 尺度空间表示
尺度的 8 个相邻点和上下相邻尺度对应的 9* 2 个 点共 26 个点比较, 以确保在尺度空间和二维图像空 间都检测到极值点。
数字图像的离散形式通过尺度参数的离散化表 示, 所以尺度空间是由一系列离散化的不同分辨率 的图像组成。T . Lindeberg 等[ 5 8] 证明尺度空 间可
中图分类号: TP391 4
文献标识码: A 文章编号: 1004 1699( 2009) 12 1742 06
图像配准是同一场景的两幅或多幅图像在空间 上的对准。它在医学, 遥感图像分析、图像融合、图 像检索、目标识别等领域得到广泛的应用。同时它 也是多传感器图像融合、遥感图像镶嵌、目标变化检 测、三维重建等领域中提高精度和有效性的瓶颈, 是 必需的前期工作。图像配准方法分为基于图像灰度 和基于图像特征的配准。基于图像灰度的配准方法 实现简单, 但配准速度比较慢。基于图像特征的配 准方法有效地消除了由于背景或局部环境、光照等 造成的局部辐射失真引起的误匹配, 对图像的旋转、 缩放和光照强度变化等不敏感, 对含有一定噪声和
子。取不同的尺度因子 可以得到一系列图像。由
公式( 1) ( 2) 可以看出: 当尺度 = 0 时, G( x , y ; 0) 为 一个脉冲函数。因此, 图像 I ( x , y ) 与零尺度下的高
斯核卷积是图像本身。即:
L ( x , y ; 0) = G( x , y; 0) * I ( x , y ) = I ( x , y ) ( 3)
像降采样得到。
2 SIFT 特征的提取与描述
阈值 下, 只要检测
Tr( H) 2 Det( H)
<
(
+
1) 2
在 L ow e[ 9] 的文章中, 取 = 10。
2 3 特征点方向分配
利用特征点邻域像素的梯度方向分布特性为每
2 1 尺度空间极值点检测 为了寻找尺度空间的极值点, 每一个采样点都
个特征点指定方向参数, 使算子具备旋转不变性。 式( 9) 、( 10) 分别为( x , y ) 处梯度的模值和方向
( 10)
公式。其中 L 所用的尺度为每个特征点各 自所在 在梯度方向直方图中, 当存在另一个相当于主峰值
的尺度。
80% 能量的峰值时, 则将这个方向认为是该点的辅
在实际计算时, 以特征点为中心的邻域窗口内 方向。一个特征点可能会被指定具有多个方向, 这
采样, 并用直方图统计邻域像素的梯度方向。梯度 可以增强匹配的鲁棒性。
第 22 卷 第 12 期 2009 年 12 月
传感技术学报
CHINESE JOURNAL OF SENSORS AND ACTUAT ORS
Vol. 22 No. 12 Dec. 2009
Remote Sensing Image Registration Algorithm Based on SIFT*
( + 1) 2 的值在两个特征值相等的时候最小, 随 着 的增大而增大, 因此, 为了检测主曲率是否在某
D( x, y, ) = ( G( x, y, k ) - G( x, y, ) ) * I ( x , y)
= L( x, y, k ) - L( x, y, )
( 4)
图像金字塔的构建为下一组的图像由上一组图
Abstract: T o reso lve m ulti sensor remo te sensing image regist rat ion, an met hod based on scale invariant fea t ures tr ansf or m( SIFT ) is proposed. F irst , t he local invariant f eat ures of images are ex t ract ed, Rat io of the first and t he second near est neig hbor dist ance w it h m ut ual corr espo ndence co nstr aint is used t o set up the init ial co rrespondences. T hen, Random Sample Concensus alg orit hm is used t o rem ove t he mism at ched fea t ure point s. Experiment s demonst rat e aut omat ic regist rat ion of mult i senso r remot e sensing images and im ag es w it h dif ferent resolut ions can be achiv ed. Key words: im age registr at ion; scale inv ar iant f eat ures t ransf orm; mutual correspond dence const raint; Ran dom Sam ple Co ncensus EEACC: 7230G
2 2 确定极值点位置 通过拟合三维二次函数以精确确定特征点的位