k,l
hm2k g n2l
d
2 j
k ,lZ
k,l
hm2k hn2l
d
3 j
k ,lZ
k,l
hm2k hn2l
对任意 L2 R 上的二维矩阵
A a m, n m,nZ
满足： a2 m, n m,nZ
定义如下算子为
H r Am, n
H
C
Am,
n
Gr Am, n
1
2 kZ a k, n hk 2m
决策级融合关联各传感器提供的判决，以增加识别的置信度。决策级融合 方法主要是基于认知模型的方法，需要采用大型数据库和专家判决系统来 模拟人的分析、推理、识别、判决过程，以增加决策的智能化和可靠性。 决策级融合的主要优点在于：通信及传输要求低，容错性高，数据要求低， 分析能力强。研究方法主要集中于贝叶斯估计法、神经网络法、模糊聚类 法及专家系统等。
❖ 广泛采集地球远 程遥感图像。 1972年 Landsat1 1999年 Landsat7
❖ 已采集百万张图 像，广泛用于农 业，地理学，森 林学，教育，地 图绘制和全球变 革Fra bibliotek究。分类
图像
预处理
特征提取
图像分类
应用
像素级 图像 融合
特征级 图像 融合
决策级 图像 融合
像素级融合是在严格配准的条件下，直接利用来自各个传感器的信息进行 像素与像素关联的融合方法，可用来提高信号的灵敏度与信噪比，以利于 目视观测与特征提取。其主要优点是能保持尽可能多的现场数据，提供其 他融合层次所不能提供的细微信息。由于该方法的融合基础是严格的像素 对准，所以对不同传感器采集视场的配准要求很高。
尺度小波变换，得到两幅图像在不同尺度下的低频方向、水 平方向、垂直方向、 45º角方向的高频信息图序列。
2 小波多分辨融合：对两幅图像的不同层次、不同特征层的 信息图分别附加一定的权重进行融合，从而得到融合图像的 小波多分辨结构。
如果将图像的离散小波变换与图像的Gaussian金字塔分解进 行简单对比，可以认为离散小波变换在提取图像低频部分的 同时，较Gaussian金字塔分解多出两个方向的分解处理。图 像融合在这些特征域内进行，理论上较Gaussian金字塔融合 具有更好的效果。
基于小波变换的融合算法
1 获取每一路图像的小波金字塔序列：对两幅图像分别作多
1
2 lZ a m, l hl2n
1
2
a
kZ
k,n
g k 2m
GC
Am,
n
1
2
lZ
a
m, l
gl2n
其简洁形式为
C j H r H C C j1
d
1 j
H r GC C j1
d
2 j
Gr H C C j1
d
3 j
Gr GC C j1
低频分量 图像的水平边缘 图像的竖直边缘 角点和45º方向边缘
55
Gl*1 i, j 4 m,nGl i m 2 , j n 2 m1 n1
1.2各种金字塔技术 1.2.1 Laplacian金字塔技术
Ll Gl Gl*1
1.2.2 对比度金字塔技术
Cl
Gl G*
l 1
1.3金字塔融合算法
1.3.1 获取每一路图像的Gaussian金字塔序列
应用 医疗应用
军事应用
海湾战争中发挥很好作战性 能的“LANTIRN”吊舱就是一 种图像融合系统。是一种用 于飞行战斗机的低空红外夜 视目标侦测系统。
LANDSAT发射火箭
远程遥感
LANDSAT项目工作组 LANDSAT采集的图像
❖ 美国陆地资源卫 星LANDSAT是最 早投入实际使用 的图像融合系统。
目录
❖ 定义 ❖ 分类 ❖ 融合评价方法 ❖ 研究方法
应用 像素级融合方法 信息融合图像识别方法 研究展望
定义
❖ 图像融合是一门新兴的学术研究方向，作为信息融 合的一个重要分支，是多传感器信息融合中可视信 息部分的融合，它将多元信道所采集的关于同一目 标的图像经过一定的图像处理，提取各自信道的信 息，最后综合成统一图像或综合图像特征以供观察 或进一步处理。它是一门综合传感器、图像处理、 信号处理、计算机视觉和人工智能等技术的现代高 新技术。
1.3.2 获取每一路图像的Laplacian或对比度金字塔等序列
1.3.3 该塔序列对应级融合，融合算子很多，
最常见的取“与”或“或”。
1.3.4 融合塔序列逆构最底层图像（以对比度塔为例）
Cl Gl / Gl*
Cl
Gl
1 l N 1 lN
2 小波变换
小波变换（Wavelet Transform）是一种新型的工程数学工具，由于其具备的 独特数学性质与视觉模型相近，因此，小波变换在图像处理领域也得到了广 泛的运用。用在图像融合领域的小波变换，可以说是金字塔方法的直接拓展。
特征级融合是在像素级融合的基础上，使用参数模板、统计分析、模式相 关等方法进行几何关联、目标识别、特征提取的融合方法，用以排除虚假 特征，以利于系统判决。特征级融合可从两方面进行研究，目标状态数据 融合和目标特性融合。该层融合的优点在于实现了可观的信息压缩，便于 实时处理，其融合结果能够最大限度地给出决策分析所需要的特征信息。 研究方法主要从聚类分析法、Dempster-Shafer推理法、贝叶斯估计法、神 经网络法等展开。
多分辨融合 1 金字塔技术
1.1高斯窗口函数
可分离性 、归一化 、对称性 、奇偶项等贡献性
1 5 8 5 1
m, n
1
5 8
25 40
40 64
25 40
5 8
400 5 25 40 25 5
1 5 8 5 1
1.2高斯金字塔
55
Gl i, j m,nGl12i m,2 j n m1 n1
Mallat经典算法
设输入图像为 f m, n 令 C0 m, n f m, n Mallat图像分解算法如下
C
j
d
1 j
d
2 j
m, n m, n m, n
1 2
C j1
k ,lZ
1 2
C j1
k ,lZ
1 2
C j1
k ,lZ
k, l h h k2m l2n k, l h g k 2m l2n k, l g h k 2m l2n
d
3 j
m, n
1
C j1 2 k ,lZ
k,l
g g k 2m l2n
式中，Z为整数级， {h，g}为选定的滤波 器组，1<=j<=N,N为 离散小波变换分解层 数。
重构算法为
C j1
m, n
1 2
C k ,lZ
j
k,l
hm2k hn2l
d
1 j
k ,lZ