LOGO
图像融合技术
Company Logo
图像融合的方法
简单组合式图像融合方法 逻辑滤波器法 数学形态法 图像代数法 HIS变换 PCA变换 高通滤波法(HPF) 金字塔变换法 小波变换法 Contourlet变换
空间域融合方法
图像 融合 方法
变换域融合方法
Company Logo
基于多分辨图像融合的实现
Gl [w Gl 1 ]2
其中*表示卷积，[· ]↓2表示“2抽1”的下采样。
Company Logo
基于多分辨图像融合的实现
Laplacian金字塔
拉普拉斯金字塔的构造基于高斯金字塔的分解，拉普拉斯金 字塔变换中各层子图由高斯金字塔中对应层子图与其下一层图像 的预测图之差形成。
为求出高斯金字塔中第K层图像与上一层图像之间的差异，必 须把低分辨率图像 Gk 进行扩充，使其尺寸和高分辨率图像一样。
Company Logo
基于多分辨图像融合的实现
Company Logo
基于多分辨图像融合的实现
二维离散小波变换
Company Logo
基于多分辨图融合的实现
Mallat经典算法 设输入图像为 f m, n 令 C0 m, n f m, n Mallat图像分解算法如下
1 C j m, n 2 C j 1 k , l hk 2 m hl 2 n k ,lZ d 1 m, n 1 C k , l h g j 1 k 2m l 2n j 2 k ,lZ 1 d 2 m , n C j 1 k , l g k 2 m hl 2 n j 2 k ,lZ 3 1 d j m, n C j 1 k , l g k 2 m g l 2 n 2 k ,lZ
基于多分辨图像融合的实现
基于小波变换的融合算法
1 获取每一路图像的小波金字塔序列；对两幅图像分别作多尺度 小波变换，得到两幅图像在不同尺度下的低频方向、水平方向、 垂直方向、 45º 角方向的高频信息图序列。 2 小波多分辨融合：对两幅图像的不同层次、不同特征层的信 息图分别附加一定的权重进行融合，从而得到融合图像的小 波多分辨结构。 3 重构图像：根据融合图像小波序列，进行小波逆变换，得到 最后的融合图像。
Company Logo
基于多分辨图像融合的实现 Gaussian金字塔
高斯金字塔的构造过程简单概括为：先将底层图像 与窗口函数 (m,n) 进行卷积,即低通滤波;再对卷积 结果进行降2下采样,并依次重复此过程即可得到图 像的高斯金字塔。高斯金字塔最底层即为原图像的 精确表示。 Gaussian金字塔图像多分辨结构中的每一级图像 均是前一级图像低通滤波形成的：
低频分量 图像的水平边缘 图像的竖直边缘 角点和45º 方向边缘
Company Logo
基于多分辨图像融合的实现
图像A
一层 小波 分解
LL 小 波 LH 系数 矩阵 HL HH 融合 决策 小波 系数 矩阵
矩阵 恢复
图像B
一层 小波 分解
融合 后的图像
融合规则
融合后的小波 系数矩阵
Company Logo
式中，Z为整数 级，{h，g}为 选定的滤波器 组，1<=j<=N,N 为离散小波变 换分解层数。
Company Logo
基于多分辨图像融合的实现
重构算法为
1 3 C j 1 m, n C j k , l hm 2k hn 2l d 1j k , l hm 2k g n 2l d 2 k , l h h d k , l h h j j m 2 k n 2l m 2 k n 2l 2 k ,lZ k ,lZ k ,lZ k ,lZ
基于多分辨图像融合的实现
金字塔融合算法 1. 获取每一路图像的Gaussian金字塔序列 2. 获取每一路图像的Laplacian金字塔等序列 3.该塔序列对应级融合，融合算子很多，最 常见的取“与”或“或”。
Company Logo
基于多分辨图像融合的实现 小波变换
小波变换本质是一种高通滤波，采用不同的小波基就会产
基于多分辨图像融合的实现
拉普拉斯金字塔分解过程分为四个步骤： (1)低通滤波（模糊） (2)下采样（缩小尺寸） (3)插值（放大尺寸） (4)带通滤波（图像相减） 完整的拉普拉斯金字塔定义如下：
* LPk Gk Gk 1 ,0 k N LPN GN , k N
Company Logo
Company Logo
基于多分辨图像融合的实现
图像输入A 多分辨分析 模型建立 多分辨分析 模型建立 高通剩余信息 合并 多分辨合成 图像输入B 低通平均信息 合并 融合图像 输出





输入源图像； 确定分解层数、低频融合策略、高频融合策略等参数； 分别构建两幅图像的多分辨结构； 利用低频融合策略融合源图像的低频部分； 利用高频融合策略融合源图像的高频细节部分； 重构图像，获得融合图像。
LOGO
对任意 L2 R 上的二维矩阵
A am, nm,nZ
满足：
m ,nz

a 2 m, n
Company Logo
基于多分辨图像融合的实现
定义如下算子为
H r Am, n H C Am, n Gr Am, n GC Am, n 1 ak , n h 2


多分辨结构的融合算法（如图像金字塔和小波等）其基本 思想来自于人眼视觉系统对于局部对比度变化的敏感性， 因此可直接将融合图像作为一种融合多尺度边缘的描述。 多分辨融合能较好地保留图像的细节部分，并具有较好的 目视效果。 常用的多分辨融合算法有： 金字塔算法： 高斯金字塔； Laplacian金字塔； 梯度金字塔； 形态学金字塔。 小波算法。 （图像的金字塔结构）
生不同的滤波效果。小波变换可将原始图像分解成一系列具有
不同空间分辨率和频域特性的子图像，针对不同频带子图像的 小波系数进行组合，形成融合图像的小波系数。
Company Logo
基于多分辨图像融合的实现
下
上
Company Logo
基于多分辨图像融合的实现
此时离散小波变换为

d j ,k (f)
Company Logo
基于多分辨图像融合的实现
C ,C

(i) A
(j) B
分别表示图像A和B的第i,j层分解系数
表示融合规则
C
(i) F
表示融合系数
Company Logo
基于多分辨图像融合的实现 基于多分辨率金字塔融合法 这是最早的一种基于变换域的方法。在这种方 法中原图像不断地被滤波，形成一个塔状结构。在 金字塔的每一层都用一种算法对这一层的数据进行 融合，从而得到一个合成的塔式结构，然后对合成 的塔式结构进行重构，最后得到合成的图像。合成 图像包含了原图像的所有重要信息；但这类方法产 生的数据有冗余，且不同级的数据相关。


f (x) j ,k (x)dx
二维小波分解的具体过程为：在低频子带上对图像 I(x,y)中每一行构成的一维数组进行一维小波分解，再对 分解形成的低、高频信息中每一列的一维数据做一维小波 分解，最终形成四个子带图像的低频分量LL、垂直方向上 的高频分量LH、水平方向上的高频分量HL、两个方向上的 高频分量HH。
kZ lZ k 2m
其简洁形式为
1 1
am, l h 2
kZ
l 2n
1
ak , n g 2
lZ
k 2m
am, l g 2
l 2n
C j H r H C C j 1 d1 H G C j r C j 1 2 d j Gr H C C j 1 3 d j Gr GC C j 1
Gl (i, j)
m Lr n Lr
(m,n)G
Lr
Lr
l 1
(2i m,2 j n)
(1 l N ,0 i Rk ,0 j Ck )
Company Logo
基于多分辨图像融合的实现
其中N为高斯金字塔分解的最大层数Rk 和Ck 分别为高 斯金字塔第l层图像的行数、列数，上式也可写为：
* 对图像进行插值放大，第K层被扩充图像为Gk ，其与上一层图 K-1层图像相减。即
* LP G G k 1 k 1 k
上式生成了拉普拉斯金字塔的第K-1层。 拉普拉斯金字塔分解过程分为四个步骤：低通滤波（模糊）、 下采样（缩小尺寸）、插值（放大尺寸）、带通滤波（图像相 减）。
Company Logo