7.1 图像融合概论
• 图像融合应用举例 – 医学图像融合
7.1 图像融合概论
• 图像融合应用举例 – 遥感图像融合
7.1 图像融合概论
• 图像融合应用举例 – 战场图像融合
7.1 图像融合概论
• 图像融合应用举例 – 监视系统图像融合
7.2 图像融合分类
• 图像融合分类 – 根据信息表征层次的不同，多传感器信息融合可分为信 号级融合、像素级融合、特征级融合和决策级融合； – 有的学者分为3类，不考虑信号级融合 信号级融合： – 合成一组传感器信号，提供与原始信号形式相同但品质 更高的信号。
7.3 图像匹配
• 特征提取算法： – 基于区域的算法：绕过对控制点的选择，对两个区域图 像逐个进行计算； – 典型算法： • 基于最大化互信息的方法，利用基准图像与输入图像 的互熵作为判断依据，在医学图像匹配中成功应用； • 基于灰度相关的匹配
7.3 图像匹配
– 基于特征的匹配算法： • 首先从待配准的图像中提取特征，用相似性度量和一 些约束条件确定几何变换，最后将该变换作用于待匹 配图像。常用的特征有边缘、轮廓、直线、兴趣点、 颜色、纹理等。 – 特征的选择可以在空间域进行，也可以在变换域进行 • 空间域：常用特征如边缘、端点、交叉点等，典型算 法有基于模型的匹配； • 变换域：图像被分解为一组系数再匹配，不依赖于像 素，更适合自动配准。
•
7.3 图像匹配
• • • 最主要的变换域图像配准方法是Fourier变换方法：图像的平 移、旋转、仿射等变换在Fourier变换域中都有相应的体现； 相位相关技术是配准两幅图像平移失配的基本Fourier变换方 法：给定两幅图像，它们之间的唯一区别是存在一个位移； 旋转在Fourier变换中是一个不变量：旋转一幅图像，在频域 相当于对其Fourier变换作相同的角度的旋转，两个频谱的幅 度是一样的，只是有一个旋转关系。也就是说，这个旋转关 系通过对其中一个频谱幅度进行旋转，用最优化方法寻找最 匹配的旋转角度就可以确定
•
7.2 图像融合分类
7.2 图像融合分类
• 像素级融合： – 直接对图像中像素点进行信息综合处理。 – 目的是生成一幅包含更多信息、更清晰的图像； – 属于较低层次的融合； – 一般要求原始图像在空间上精确配准，如果图像具有不 同分辨率，在融合前需作映射处理； – 目前大部分研究集中在该层次上。
7.2 图像融合分类
• 目标状态数据融合： – 主要用于多传感器目标跟踪领域，首先通过融合系统对 传感器数据进行预处理以完成数据校准，再实现主要参 数相关的状态估计。 特征级目标特性融合： – 即特征层联合识别，采用模式识别技术，在融合前对特 征进行相关处理，从而把特征矢量分类成有意义的组合。 特征级图像融合的优点在于实现了可观的信息压缩，便于 实时处理。由于所提出的特征直接与决策分析有关，因而 融合结果能最大限度地给出决策分析所需要的特征信息。
7.2 图像融合分类
• 决策级融合优点： – 数据量少，通信及传输要求低； – 容错性高，对一个或若干个传感器的数据干扰，可以通 过适当的融合方法予以消除； – 数据要求低，传感器可以是同质或异质，对传感器的依 赖性和要求降低； – 分析能力强，能全方位有效反映目标及环境的信息，满 足不同应用的需要；
7.2 图像融合分类
7.3 图像匹配
1. • 概述 图像匹配在近几十年来一直是人们研究的热点和难点，它 是在变换空间中寻找一种或多种变换，使来自不同时间、 不同传感器或者不同视角的同一场景的两幅或多幅图像在 空间上一致； 由于拍摄时间、角度、自然环境的变化、多种传感器的使 用和传感器本身的缺陷，使图像受噪声的影响，存在严重 的灰度失真和几何畸变。如何达到精度高、匹配正确率高、 速度快、鲁棒性和抗干扰性强以及并行实现是匹配算法的 目标。
7.3 图像匹配
在刚体形状匹配中，原型模板通过平移、旋转和尺度化等 简单变换达到和目标图像的匹配，但是它不能处理目标形状 存在较大变形时的问题，为此提出使用变形模板匹配方法。
7.3 图像匹配
(4)基于变换域的匹配 频域匹配技术对噪声有 较高的容忍程度，检测结 果与照度无关，可处理图 像之间的旋转和尺度变化。 常用的频域相关技术有相 位相关和功率倒谱相关， 其中相位相关技术使用相 对广泛。
• 图像融合的发展 – 最早用于遥感图像分析：1979年Daliy首先将雷达与卫星 图像复合，用于地质解释； – 1980年代逐渐应用于一般的图像处理； – 1990年代成为研究热点，应用领域包括遥感、光学图像 处理，医学图像处理等； – 近年来成为计算机视觉、自动目标识别、成像导航与制 导等方面的研究热点。
•
7.3 图像匹配
2. 图像匹配算法： – (1)基于灰度相关的匹配 对待匹配图像的像元以一定大小窗口的灰度阵列 按某种或几种相似性度量顺次进行搜索匹配的方法。 这类算法的性能主要取决于相似性度量及搜索策 略的选择上。
匹配窗口大小的选择也是该类方法必 须考虑的问题，大窗口对于景物中存 在遮挡或图像不光滑的情况会出现误 匹配的问题，小窗口不能覆盖足够的 强度变化，因此可自适应调整匹配区 域的大小来达到较好的匹配结果。
7.3 图像匹配
(2)基于特征的匹配 首先从待配准的图像中提取特征，用相似性度量和一些 约束条件确定几何变换，最后将该变换作用于待匹配图像。 匹配中常用的特征有边缘、轮廓、直线、兴趣点、颜色、 纹理等。
7.3 图像匹配
(3)基于模型的匹配 模板匹配方法在计算机视觉和模式识别等领域中的应用也非 常广泛，它可以分为刚体形状匹配和变形模板匹配两大类。
•
•
7.2 图像融合分类
• 决策级图像融合： – 对每个图像的特征信息进行分类、识别等处理，形成相 应的结果，进行进一步的融合过程，最终的决策结果是 全局最优决策； – 决策级融合是一种更高层次的信息融合，其结果为各种 控制或决策提供依据； – 决策级融合必须结合具体应用及需求，有选择地利用特 征级融合所抽取的目标的各类特征信息，其结果直接影 响最后的决策水平； – 输入为特征信息，结果为决策描述，因此决策级融合数 据量最小，抗干扰能力强；
7.2 图像融合分类
图 像 1 预 处 理 基 于 像 素 的 融 合 特 征 提 取 与 分 类
图 像 2
预 处 理
图 像 配 准
用 户 决 策
最 终 结 果
. . 的 图 像
配 准 后 的 图 像
像 素 级 融 合
融 合 后 的 图 像
7.2 图像融合分类
• • 像素级融合的过程一般可分4个步骤：预处理、变换、综合 和反变换(重构图像)。 预处理阶段包括了对被融合的原始图像的滤波和配准处理； – 配准就是将被融合的原始图像进行必要的变换(主要是几 何变换)，从而使被融合图像的每一个像素都对准； 变换阶段采用的主要方法有：PCA，多分辨分析(金字塔算 法、小波算法)
•
7.1 图像融合概论
图像传感器的组合效果
传感器1 传感器2 效果 TV摄像机 红外 适用于白天或夜晚 毫米波(MMW)雷达 红外 穿透力强，分辨力强 红外 紫外 适合识别背景 多光谱图像 全色图像 适合识别特征和纹理 SAR 红外 空间分辨力和谱分辨力都较高 SAR SAR 穿透力强，分辨力较高，全天候 红外 红外 背景信息增加，提高了探测距离 和识别能力 CCD摄像机 分辨力强，全天候 红外 +SAR
7.3 图像匹配
• 特征匹配：匹配图像的相似性度量 – 即确定待匹配特征之间的相似性，通常定义为某种代价 函数或距离函数的形式。 – 经典的相似性度量包括相关函数和Minkowski距离，近 年来还有Hausdorff距离、互信息作为匹配度量。 – Hausdorff距离对噪声非常敏感，分数Hausdorff距离能 处理当目标存在遮挡的情况，但计算费时； – 互信息方法对照明的改变不敏感，在医学等图像的匹配 中得到了广泛应用，但计算量大，且要求图像之间有较 大的重叠区域。
7.1 图像融合概论
• 图像融合的形式可分为3种： – 多传感器非同时获取的图像的融合； – 多传感器同时获取的图像的融合； – 单一传感器不同时间，或者不同环境条件下获取的图像 的融合 图像融合的作用 – 图像增强 – 去噪 – 特征提取 – 目标识别与跟踪 – 三维重构
•
7.1 图像融合概论
7.1 图像融合概论
• 图像融合的研究现状 – 多传感器信息融合领域中，图像融合是应用最为广泛， 发表文献最多的一个方向：信息融合文章中，信号层的 信息融合文章占53％； – 在Ei Compendex Web数据库中用“image fusion”作为关 键词，检索从1980年到2001年摘要中出现这一词组的文 章数目：1980年至1984年的文章只有4篇；1995年至1999 年增加到603篇；2000年和2001年两年就有299篇； 有关组织与刊物： SPIE、IEEE
7.2 图像融合分类
图 像 1 预 处 理 特 征 提 取 基 于 特 征 的 融 合
图 像 2
预 处 理
特 征 提 取
图 像 配 准
特 征 分 类
用 户 决 策
最 终 结 果
. . .
图 像 N
预 处 理
特 征 提 取
提 取 后 的 特 征
配 准 后 的 特 征
特 征 级 融 合
融 合 后 的 特 征
•
7.2 图像融合分类
• 综合阶段将被融合图像的变换结果进行综合处理，从而获 得最终的融合图像。综合方法可分为： – 选择法，即根据某种规则，分别选择不同被融合图像的 变换系数，组成一组新的变换系数； – 加权法，即用某种加权平均算法将不同被融合图像的变 换系数综合为一组新的变换系数； – 优化法，即根据应用不同，构造某个评价融合效果的性 能指标，综合结果使该性能指标最优； 反变换阶段是根据综合阶段得到的一组变换系数进行反变 换操作，得到融合图像。