第38卷第4期 2016年8月光学仪器OPTICAL INSTRUMENTSVol. 38，No. 4August,2016文章编号：1005-5630(2016)04-0303-05基于视觉显著性的红外与可见光图像融合华玮平S赵巨岭S李梦S高秀敏〃(1.杭州电子科技大学电子信息学院，浙江杭州310018;2.上海理工大学光电信息与计算机工程学院，上海200093)摘要：多波段图像融合可以有效综合各个波段图像中包含的特征信息。

针对可见光和红外图 像，提出了一种结合红外图像视觉显著性提取的双波段图像融合方法，一方面旨在凸显红外图 像的目标信息，另一方面又尽可能的保留了可见光图像的丰富细节信息。

首先，在局部窗口内 实现红外图像的显著性图提取，并通过窗口尺寸的变化形成多尺度的显著性图，并对这些显著 性图进行最大值的优选叠加，以获取能反映整幅红外图像各个尺寸目标的显著性图；其次，通过 结合显著性图与红外图实现显著性图的加权增强；最后，利用增强的红外显著性图进行双波段 图像的融合。

通过两组对比实验，数据表明该方法给出的融合图像视觉效果好，运算速度快，客 观评价值优于对比的7种融合方法。

关键词：图像融合；红外图像增强；视觉显著性中图分类号：TN 911. 73 文献标志码：A doi:10. 3969/j. issa 1005-5630. 2016. 04. 005 Dual-band image fusion for infrared and visible imagesbased on image visual saliencyHUA Weiping1, ZHAO Jufeng1, LI Meng1, GAO Xiumin1,2(1. Electronics and Information College, Hangzhou Dianzi University, Hangzhou 310018, China；2. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology,Shanghai 200093，China)Abstract： Dual-band image fusion is able to well synthesize the feature information from the different bands. To fuse visible and infrared images, in this paper, an infrared image visual saliency detection-based approach was proposed. This method aimed to highlight the target information from infrared image, meanwhile preserve abundant detail information from visible one as much as possible. Firstly, visual saliency map was extracted within a local window, and multiple window-based saliency maps could be obtained by changing the size of local window. And the final saliency map was generated by selecting maximum value, and this map could mirror all target information in the infrared image. Secondly，the saliency map was enhanced by combining infrared image and the previous saliency map. Finally, the enhanced saliency map was used for dual-band image fusion. Comparing with other seven methods, the收稿日期：2015-10-13基金项目：国家自然科学基金项目（61405052，61378035)作者简介：华玮平(1994 )，男，本科生，主要从事光学成像等方面的研究。

E-m ail:564810049@qq.c〇m通信作者：赵巨峰(1985 )，男，讲师，主要从事光学成像、图像处理等方面的研究。

E-m ail:daba〇zjf@.C n•304 •光学仪器第38卷experimental results demonstrate that the proposed approach could rapidly produce fused image with good visual effect,and the objective evaluation is better.Keywords：image fusion；infrared image;visual saliency引言图像融合旨在将不同图像的信息进行综合，以便进一步的理解和处理。

20世纪90年代以来，图像融 合技术在军事探测、医疗成像、图像水印等方面都有着广泛的应用[1]。

通常情况下，红外传感器检测到发 热的区域一般是人们关注的目标物体，但其保持图像细节的能力较差，而可见光图像则包含丰富的细节 信息，因而两者互补可以有效综合信息。

较为常用图像融合方法是基于多尺度分解的思路，包括拉普拉斯金字塔变换(L P)r a、双树复小波变换 (DTCWT)[3]、非下采样轮廓波变换(NSCT)[4]、Curvelet变换[5]等方法。

这些方法需要进行上采样和下采 样，使得图像中的细节容易被平滑。

NSCT具有多尺度、多方向选择性、多分辨率分析和平移不变性的特点。

但变换过程中各部分的系数选择仍是一个问题，计算速度也相对较慢。

随着神经科学、心理学等学科的发展，在研究人类视觉机制的过程中视觉显著性和视觉注意的概念 被提出。

观察者能够利用视网膜中央凹的高分辨率感知机构，主动地探索环境中的重要视觉信息[6]，即人眼视觉系统(human visual system,H VS)。

视觉显著性反映的是视觉系统从场景中提取一系列视觉信 息的能力，其能够像滤波器一样选择感兴趣的信息。

由于视觉显著性的提取能够自动化地代替人眼视觉 系统快速准确的搜索到场景中的显著目标，其产生的显著性图能够反映人眼视觉系统对不同场景的关注 程度，这些都使得视觉显著性的研究具有广阔的应用前景。

在上述研究的基础上，国内外科研人员提出了利用视觉显著性进行图像融合的方法。

华中科技大学 的陈艳菲等人通过在红外图像和可见光图像中分别提取视觉显著性的方法对双通道图像进行融合，取得 了优于传统图像融合方法的结果[7]。

浙江大学的研究人员也结合视觉显著性与N S C T进行图像融合[8]，也取得了较好的成果。

受到上述方法启发，本文提出了中心周围像素差异计算局部显著性图，并变化局部窗口尺寸以实 现图像的不重叠的显著性提取，能够有效的凸显不同尺寸目标的信息；在进一步增强显著性图的基础 上，实现了基于显著性图的红外与可见光图像的融合。

通过实验结果的对比分析，本文方法融合效果 好，计算速度快。

1视觉显著性图提取对于图像，通常以视觉显著性图来量化表示关注程度的不同，该图的值分布在[〇，1]之间，值越 大表明人眼越关注该区域。

当前，主要利用计算机算法模拟人眼来产生视觉显著性图。

因为中心周 围像素差异越大的区域，人眼关注的程度越高，所以引入局部窗口概念，使用该思路计算局部显著性图。

对于某一幅图像P，设它对应的显著性图为S a l P。

那么，取一个以U，；y。

）为中心像素，大小为的矩形区域，定义(心，y。

）处的像素值为，y。

），显著性值为S a l P G。

，y。

），计算式为Sal_P(x〇,y〇) = \P(x〇,y〇)—Mean(ij)\(1)Mean (ij) =^P(x,y)(2)1 ^J {x,y)e i y,j式中:为该区域内所有点的像素平均值，该窗口 的位置在图像中是任意的，那么将窗口在整幅图像内逐个像素滑动，如图1所示，最终获得与原图P等尺寸的的显著性图S d_P。

局部窗口的尺寸 对应于图像中同等尺寸的目标尺寸，取多个尺寸不同窗口可以覆盖不同尺寸的目标。

因此通过选择窗口 尺寸以重复获得不同结果的显著性图，再将各显著性图叠加并归一化处理以保证显著性图的准确性，也第4期华玮平，等:基于视觉显著性的红外与可见光图像融合•305 •能辅助实现各窗口边缘处平滑过渡。

2显著性图增强及其融合2.1针对红外图像特点增强显著性图可见光图像(V I)往往拥有丰富的细节成分，红外图像(IR)则凸显热辐射强的区域，但对其他区域的细节保留较差。

如果融合时红外图像的低热辐射区域参与融合，会引入冗余信息导致可见光图的部分细节信息丢失，融合效果较差，因此需要抑制低热辐射区域的显著性，增强高热辐射区域显著性。

对于显著性图及红外图像中同坐标的任意一^点(工，夕)有F_IR m a p(x,y) =S_IR m a p(j：,y)X I R ix.y)(3) 式中:S_IRm a p为通过节1所述方法获得的红外图像显著性 图，I R为红外图像，F_IR map为经过增强后的红外图像显著 性图。

通过显著性图与红外图像相乘能够有效的抑制低 热辐射区域的显著性。

同时为了增强保留的显著性区域，用图2所示的对数变换模型对显著性图进行灰度拉伸。

2.2显著性融合在本文方法中，根据红外图像的显著性进行融合，可 以有效地避免红外图像中冗余信息的引入。

红外图像的 显著性图遵循以下融合规则髙灰度输入图1以/大小窗口计算图像局部显著性Fig. 1 The size of i Xj window to calculatethe local saliency map.图2非线性灰度变换，对数变换Fig 2 Nonlinear gradation transformation and logarithmic transformationF iu s lo n(x,y) =IR(x,y)F_IR m a p(x,y)+V I[_1—F_IR m a p(x,y)^\(4)式中:F f u_为融合结果，I R为红外图像，其中每个点的融合权重值为F_IRm a p中对应点显著性值，V T为可 见光图像，其对应点权重值为(1 一F f u_)。