（ 1） 维信息。针对领域像素点均值代表的图像结构信息不
σ2 2，1
（
n）
∑ =
1 H2 （ n）
（
I2（ x，y）
I1 （
x，y）
－ E（ 2，1） （ n） ） 2 （ 2）
足的问题，本文引入一致性边缘对齐度，从而增加图 像边缘信息在配准过程中的作用。p（ i，j，k，l） 可由 四维灰度联合直方图统计。归一化二阶互信息定义为
（ 1） 均值滤波。为了滤除图像中的噪声，采用均值 滤波器对原图像进行噪声滤除。相比高斯滤波器会造成 原图像的过度光滑或者缓变边缘容易丢失的效果而言， 采用均值滤波比采用高斯滤波后的图像边缘变得更加平 滑和连续，而且免去了选取高斯模板宽度的工作［6 －7］。
（ 2） 边缘细化并去除假边缘。由于红外图像存在边 缘带，并且经过均值滤波器之后，使得边缘带会进一步 加宽。由 Hough 变换原理可知，直线边缘带经过 Hough 变换后会在两侧检测出两条直线。由此计算得到的对齐
对齐度最 初 是 在 对 医 学 图 像 配 准 领 域 中 开 始 使
用，由于医学图像不同光谱下各组织内部灰度值单
一，且噪声很小。因此，直接对灰度图像进行计算对
齐度能够起到理想的效果。而在红外与可见光图像配
准时，红外图像在同一区域内部可能出现灰度值反
转，因此对灰度图像计算对齐度容易导致配准失败。Байду номын сангаас
本文将利用图像中的边缘求取对齐度，虽然红外与可
本文是基于图像间的边缘来计算对齐度的，为更 好地计算红外与可见光图像之间的对齐度，本文采用 对二值化图像进行 Hough 变换［5］提取图像中一致性 较高的主要直线边缘。为保证所提取边缘的一致性， 在进行 Hough 变换提取一致性直线段前，进行了以下 几步预处理优化边缘提取：
2 基于对齐度的二阶互信息基本原理
（ 8） 其中，p（ i，j，k，l） 中 i 表示图像 A 中灰度值 i 的像
度曲线将变得不尖锐而且存在大量局部极值，因此必须 首先对边缘带进行细化处理［8］，然后采用非极大值抑制
素点； k 表示图像 B 中与图 A 中像素值为的 i 像素点 的思想，进一步细化全局梯度图中的屋脊带，保留在局
www. dianzikeji. org
Infrared and Visible Image Registration by Combination of Second-order Mutual Information and Alignment
Kuang Yabin，Wang Jindong，Li Peng （ College of Automation Engineering，Nanjing University of Aeronautics ＆ Astronautics，Nanjing 210016，China）
进行矫正，使得优化时的矫正后曲线可以使局部极值
大大减少，此时 K 应该取 0 ～ 0. 5 之间。
3 对齐度的合理计算
在一些主要轮廓线具有较好的一致性。因此，本文在 提取边缘图像的基础上，通过 Hough 变换选取红外和 可见光图像中一致性较高的直线段作为对齐度计算时 的边缘，减少边缘之间的差异所引起的对齐度计算的 偏差。然后与原有的二阶互信息结合，形成新的相似 性测度，以提高配准的准确性和鲁棒性。
Keywords IR； visible； image registration； second-order mutual information； alignment metric； Hough transform
多模图像配准是对同一场景在不同时刻、位置和 了大量的噪声信息，由于在红外图像和可见光图像中
图像中总体温度均衡的情况下，使用二阶互信息能够
得到比较尖锐的互信息曲线，且曲线的局部极值比较
少，因此增大二阶互信息所占比例，K 应该取 0. 5 ～ 1
之间。当红外图像中总体温度不均衡，且有大量噪声
存在的情况下二阶互信息就会存在很多局部极值，在
进行后续优化的处理时很有可能陷入局部极值当中，
所以此时应当增加对齐度的比例以对二阶互信息曲线
图像·编码与软件
2011 年第 24 卷第 5 期 Electronic Sci. ＆ Tech. / May. 15，2010
红外与可见光图像配准算法
匡雅斌，王敬东，李 鹏
（ 南京航空航天大学 自动化学院，江苏 南京 210016） 摘 要 提出把二阶互信息与对齐度相结合作为相似度函数，通过 Hough 变换提取两幅图像中一致性较高的直 线，计算它们的对齐度，最后针对不同的图像特点，调整对齐度在新相似度函数中所占比例进行配准。实验结果表 明，新算法与其他几种测度函数相比有更高的精确性和鲁棒性。 关键词 红外； 可见光； 图像配准； 二阶互信息； 对齐度； Hough 变换 中图分类号 TN219； TP391. 41 文献标识码 A 文章编号 1007 － 7820（2011）05 － 080 － 05
大，增加相邻点灰度值作为第二维信息不能提供足量 的结构信息。（ 2） 而增加当前点梯度值作为第二维信
的对齐度，再与二阶互信息相结合实现多模图像配准。 对齐度［3］的概念源自于人眼对两幅图像内容对齐
息时，由于梯度对噪声非常敏感，得到的梯度值包含 的认识； 当判断两幅图像内容对齐的时候，意味着图
像之间重叠之后像素值之间非对齐的区域最小、对齐
设有 I1 ，I2 两幅图像，E（ 1，2） （ n） ，E（ 2，1） （ n） 分别 为两幅图像中一幅图像相对与另一幅图像灰度为 n 的
80
www. dianzikeji. org
匡雅斌，等： 红外与可见光图像配准算法
图像·编码与软件
对应像素集合的灰度均值。H1 （ n） 和 H2 （ n） 代表像素 灰度值为 n 的个数。P1 （ n） ，P2 （ n） 表示在两幅图中 像素值为 n 的像素点概率。
见光图像中的有些边缘会存在较大差异，但依然会存
NMI2
=
H2 （ A） H2 （
+ H2 （ A，B）
B）
（ 9）
将二阶互信息和边缘图像对齐度相结合构成一个
新的相似性测度
AMNMI2 = K × NMI2 + （ 1 － K） × AM （ 10） 其中，K 为比例值，K 的取值范围为［0，1］，当红外
∑ σ 2 1，2
=
P1 （
n）
σ2 1，2
（
n）
（ 3）
∑ σ 2 2，1
=
P2 （
n）
σ2 2，1
（
n）
（ 4）
CI［I1 ，I2］=
σ2 1，2 σ22
+
σ2 2，1 σ21
（ 5）
CI 的取值范围为［0，2］。为了描述方便，取 CI
的倒数为对齐度 AM，即
AM = 1 / CI
（ 6）
当两幅图像之间配准时，对齐度 AM 值为最大。
使用不同波段摄像头得到的一组图像之间进行匹配的 所包含的噪声信号类型不一致，因此包含红外与可见
过程。二阶互信息是在互信息基础上发展的一种更为 光图像中噪声信息的像素点梯度值所代表的图像结构
有效的多模图像配准算法。互信息只反映了图像中每 信息之间就可能存在很大的差异。（ 3） 从红外图像本
一对像素点灰度值的统计特性，它忽略了不同位置像 身的特点出发，物体在图像中边缘处像素值呈现向边
缘图片中会形成许多短的杂散边缘，或出现边缘像素 点聚成一团，为了避免其对 Hough 变换造成干扰，在 Hough 变换前对两幅图像分别做一次形态学细化。
5 图像配准过程
4 Hough 变换的参数选择
本文采用的 Hough 变换函数有 5 个参数： 距离精 度 rho； 角度精度 theta； 长度阈值参数 threshold； 最 小碎线段长度 param1 和碎线段最大间隔值 param2。
素点间的相关性并且缺少对图像空间结构信息的考
虑，因此二阶互信息提出通过增加相邻像素点的灰度 值或者当前像素点的梯度值等图像结构信息［1］，作为
缘梯度方向扩散的趋势，可见光图像中阶梯状边缘在 红外图像中则变成斜坡状边缘［2］，因此红外图像在边 缘处形成了边缘带。使用边缘带处的梯度信息会导致
二阶互信息的第二维信息来弥补互信息的缺陷。但是 配准结果的误差，从而降低配准算法的鲁棒性。
收稿日期： 2010-12-31 作者简介： 匡 雅 斌 （ 1985 － ） ，男，硕 士 研 究 生。研 究 方 向： 计算机测控和图像处理。王敬东（ 1966 － ） ，男，硕士生导师。 研究方向： 计算机测控和图像处理。李鹏（ 1977 － ） ，男，讲 师。研究方向： 计算机测控。
的区域越大。从微观上来说，这表示着一幅图像的每 个灰度级在像素位置上所对应的另一幅图像的灰度级 最稳定，而在数学上体现为方差最小。
81
图像·编码与软件
匡雅斌，等： 红外与可见光图像配准算法
部上梯度值最大的点达到去边缘带的目的。 （ 3） 二 值 化 边 缘 连 接 和 迭 代 除 杂 边 缘［9］。 由
Hough 变换的基本原理知道，如果二值化图像中，所 需要提取的直线段连通性越好，且其他碎直线越少或 者碎直线间隔越大，则通过调整 Hough 变换的长度阈 值和最大间隔参数就越容易提取出所需要的直线段。 为此，本文对提取出的二值化图像进行边缘连接和迭 代除杂边缘的处理。在边缘连接中，高阈值图像去掉 大量噪声与杂散边缘，低阈值图像则保留了需要提取 的完整直线。这样通过边缘连接后的图像既保留了所 需提取的直线又去除了大量噪声边缘。连接后的直线 边缘不 一 定 完 全 连 接 起 来，但 此 时 可 以 通 过 调 整 Hough 变换中最大间隔参数来忽略直线间隔。最后， 为了进一步减少杂散边缘对 Hough 变换的干扰，又进 行了一次迭代去除杂散边缘。