第八章图像融合算法8.1 图像融合技术的发展过程随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。

如今，图像融合方法已经运用于社会的很多领域，像遥感卫星图像，光图像，红外图像，医学图像，尤其是多传感器图像融合应用以来，它已成为计算机视觉，目标识别，机器人以及军事等方面研究的重要方面。

8.2基于小波变换图像融合的基本原理如果一个图像进行L 层小波分解，我们将得到（3L ＋1）层子带，其中包括低频的基带和层的高频子带。

用代表源图像，记为，设尺度系数和小波函数对应的滤波器系数矩阵分别为，则二维小波分解算法可描述为：j C 3L ,h v d D D D 和(,)f x y 0C ()x Φ()x ΨH G 与111j hj j vj j dj j C HC H D GC H D HC G D GC G +++′=⎧⎪′=⎪⎨′=⎪⎪′=⎩j+1(0,1, (1)j J =−（8-1）小波重构算法为：基于二维DWT 的融合过程如图1.1所示，ImageA 和ImageB 代表两幅源图像A 和B ，ImageF 代表融合后的图像，具体步骤如下：（1）图像的预处理：1h v d j j j j jC H C H G D H H D G G D G −′′′′=+++(,1, (1)j J J =−（8-2）图8.1 基于DWT 图像融合过程①图像滤波②图像配准（2）对ImageA和ImageB进行二维DWT分解，得到图像的低频和高频分量。

（3）根据低频和高频分量的特点，按照各自的融合算法进行融合。

（4）对以上得到的高低频分量，经过小波逆变换重构得到融合图像ImageF。

8.3 融合效果性能评价指标8.3.1均值和标准差图像的信息熵是衡量图像信息丰富程度的一个重要指标,表示图像所包含的平均信息量的多少。

融合图像的熵值越大,说明融合图像携带的信息量越大,信息就越丰富。

120()log ()L g EN p g p g −==−×∑（8-5）8.3.3平均梯度平均梯度用来表征图像的清晰度，反映图像质量的改进,及图像中微小细节反差和纹理变换特征，平均梯度越大,及图像中微小细节反差和纹理变换特征，平均梯度越大, 图像的平均梯度定义为:8.4 高频融合方法研究8.4.1均值法对两幅源图像进行小波分解，获取需要的小波系数，对相应的像素进行比较取均值，获取的系数通过小波逆变换重构出图像。

表示多焦距图像的数目表示各图像的加权系数=1,2,3表示水平、垂直和对角线的小波分解系数表示第k 幅图像在的第层小波分解系数。

表示融合图像在的第层小波分解系数。

,1(,)(,)0.5KiiJ k k J k k F x y c D x y c ==×=∑,其中（8-15）K k c i ,(,)ik J D x y (,)i J F x y实验结果如图8.2（a）所示，可见，取平均值的方法使图像变平滑，对低频的处理较为可靠，但细节部分缺乏完整的表征，融合后感兴趣的高频信息丢失严重，图像模糊不易于识别，不是一种可靠的融合方法。

图8.2 不同图像融合效果(a)(b)8.4.2最大值法在图像小波分解,绝对值较大的小波系数对应于图像较大的边缘等特征,而人眼对于这些特征比较敏感。

其中，表示对小波分解系数取绝对值表示对K 个小波分解系数取最大值{}(,)max ((,))i i Jk JKF x y abs D x y =，（8-16）((,))ik Jabs D x y ，(,)i k J D x y ，,max()ik JKD实验结果如图2.2所示，可见取最大值的方法能很好的图像显示每个源图像的高频信息，效果较好，然而却容易引起高低频边缘的失真，出现条纹现象等,特别是在两幅源图像质量差别较大的地方，出现明显的融合痕迹。

8.4.3基于区域的最大值法此方法中，每个像素点和周围相关各点被同时考虑，融合图像的每个像素点处于考察区域的中心，将高频子带的参考区域内各个高频系数的绝对值进行求和，比较两幅源图像中各个高频子带对应区域的和，并选取和最大的区域中心的像素点作为融合图像的高频系数。

其中，表示第k 个图像的像素（x ，y ）在J 尺度下的分解系数表示水平、垂直、对角线的分解系数(,)max ((,))iiJk J Km M n N F x y abs D x m y n ∈∈⎧⎫=++⎨⎬⎩⎭∑∑，（8-17）(,)i k JD x y ，1,2,3i =8.4.4基于区域能量的图像融合方法基于区域能量融合的思想是:对待融合图像进行二维小波分解,计算待融合图像高频成分的区域能量及匹配度,然后比较匹配度与给定阈值以及待融合图像区域能量的大小,决定采用选大选小融合法还是区域中值加权法。

（1）区域特征的定义：表示高频系数矩阵中以为中心的区域大小为的能量，定义为：(,)i J E x y (,)x y M N ×2,,(,)(,)iiJ k J m M n NE x y D x m y n ∈∈⎡⎤=++⎣⎦∑（8-18）（a）（b）（c）（d）图8.3 基于区域能量融合方法中不同阈值仿真图PCNN 的数学模型可以描述为：exp()()exp()()(1)()()()F j kj kjk j kL j kj kj k j kj j j j T Tj j j j j j j jF M t Y t I L W t Y t JU F L V Y t Y t setp U ααβθαθθ⎧=−⊗+⎪⎪=−⊗+⎪⎪=+⎨⎪=−+⎪⎪=−⎪⎩∑∑（8-24）8.4.6.2 图像融合中的PCNN 设计数字图像应用中的PCNN 是一个单层的二维横向连接的脉冲耦合神经元。

神经网络中的神经元数与输入图像的像素数相等，神经元与图像的像素点一一对应。

每个像素点与唯一的一个神经元相联，每个神经元与周围的神经元相联。

图像融合中的PCNN 可以用下面的式子描述：,,() ()exp()(1)(1)()()(1()) k kij ij kkij L ij L ij mn mn m n k k kij ij ij F n I L n L n V W Y n U n F n L n αβ==−−+−=∗+∑()exp()(1)(1) 8-251,:()()() 0,k k k ij ij ij k kij ij k ijn n V Y n if U n n Y n otherwise θθθαθθ=−−+−⎧>⎪=⎨⎪⎩（） ⎧⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎩8.4.6.3 基于PCNN 的高频融合算法实现PCNN 融合方法可以按如下方法进行：1）表示源图像ImageA 和ImageB 的第层小波分解系数。

2）归一化在之间，并将归一化的值作为F 通道输入激励PCNN 网络。

3）初始化，，可以看出，初始状态时像素点都没有着火，即，产生脉冲数。

4）根据式5.1～5.5计算,,(,)(,)i i A JB J I x y I x y 和,,(,)(,)i iA JB J I x y I x y 和[]0,1(,)i J F x y (,,0)(,,0)0i iJ J L x y U x y ==(,,0)1i J x y θ=(,,0)0i J Y x y =(,,0)0iJ T x y =(,,)(,,)(,,)(,,)iiiiJ J J J L x y n U x y n x y n Y x y n θ===实验结果如图8.7所示：(a) (b) (c)(d) (e)(f)图8.7 PCNN融合方法中迭代不同次数的图像由于式4.18具有平滑图像的作用，可以看出，如果满足的元素越多，图像中被平滑的部分越多，通过取不同的我们统计得到被平滑的像素点与关系如图2.7所示：图8.9 与平滑的像素点关系图thT为比较不同下的融合效果，我们取不同的阈值进行融合比较，图8.10中(a)~(d)是取阈值分别为0.5、0.8、0.95、0.99的融合结果。

(a)(b)(c) (d) thT 图8.108.5.2基于低频边缘的选择方案对图像A 的尺度系数定义一个变量，其中，表示卷积变量E在一定程度上反映了图像在水平、垂直和对角线方向的边缘信息。

为了较好地保留源图像的细节,可对两幅图像的尺度系数计算出变量E,E较大的尺度系数作为合成图像的尺度系数。

A E 222,1,2,3,()()()A J A J A J A J E F C F C F C =∗+∗+∗(8.30)∗1111222111F −−−⎡⎤⎢⎥=⎢⎥⎢⎥−−−⎣⎦ 2121121121F −−⎡⎤⎢⎥=−−⎢⎥⎢⎥−−⎣⎦ 310104101F −−⎡⎤⎢⎥=⎢⎥⎢⎥−−⎣⎦ 0 算法描述：8.5.3基于PCNN 的低频融合方法PCNN的基本模型和图像中PCNN的用法已经在高频域的融合方法中介绍过，这里不再介绍。

PCNN是模拟猫的视觉皮层细胞对视觉信号的处理机制，对高频域和低频域信号具有相似的处理方法，因此高频域的PCNN模型也能用于低频域。

,,,,,,,,,,, F J A J A J B J B J A J B J A J B J A J B JC W C W C E E W E E W =≥⎧⎪=⎨⎪⎩≥⎧⎪=⎨⎪⎩+1，如果：0，其它1，如果：0，其它直接将图像的低频系数矩阵代入PCNN模型中，取,A J C ,B J C max 3000N =图8-12基于PCNN 低频融合方法结果•（1）边缘选择的方法得到的融合图像与低频直接取平均得到的融合图像相比，图像亮度明显增大，边缘保留更多，细节信息更为丰富。

从实验数据来看，低频边缘选择的方法比在低频直接取平均得到标准差、平均梯度、互信息均有明显提高，边缘和细节保留较好，融合图像保留了更多源图像的信息。

•（2）基于PCNN的低频融合方法与基于低频边缘的选择方案相比，前者得到的标准差和平均梯度均比后者高，说明基于PCNN的低频融合方法对微小细节及纹理反映很好，能够很好的保留图像的边缘。

熵和互信息比后者稍小但很接近，基于PCNN的低频融合方法所得融合图像在保留源图像信息上稍微于后者。

但对于视觉观察来说，边缘和纹理信息更为重要，而细微的信息差别基本分辨不出来，可见，低频域内采用基于PCNN的低频融合方法是一种提高图像融合效果的非常有效的方法。

•（3）与低频直接取平均相比，对小波变换低频部分进行特征提取后图像所有指标均有大幅度提高，图像无论在亮度、边缘信息、细节信息还是包含源信息上均有大幅度提高。

低频域主要包含待融合图像的近似特性，低频系数反映了图像的轮廓,低频系数的选择对融合图像质量的好坏起到非常重要的作用。