融合分类：按照信息抽象程度可以分为像素层、特征层和决策层
像素级：
优点： 保留了尽可能多的信息，具有最高精度，三级融合层中为研究最成熟的 一级，已经成了丰富的融合算法。 局限性： 1. 效率低下。由于处理的传感器数据量大，所以处理时间较长，实时性差 2. 对参与融合遥感影像配准精度要求很高。
特征级融合

融合实质：
在统一地理坐标系中将对同一目标检测的多幅遥感图像数据采用一 定的算法，生成一幅新的、更能有效表示该目标的图像信息。
遥感数据融合发展和应用

Data Fusion
数据融合（data fusion）最早被应用于军事领域。 融合数据的特点：融合产生的数据具有原始影像的优点，其可以 减少识别目标的模糊性和不确定性，提高遥感图像整体质量和综 合分析精度同时又能满足定量遥感需要更多的光谱信息和空间纹 理信息的要求。 融合模型要求：具有良好的信息保真度。 分类：像素级、特征级和决策级 主要应用领域有：多源影像、机器人和智能仪器系统、战场和无 人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别 等。
该卫星特点
（1）20米分辨率的5谱段CCD (charge coupled device )相机,其采用推 帚式扫描,扫描宽度113km； （2）80米分辨率的3波段多光谱扫描仪（MSS），扫描宽度120km； （3）160米分辨率的1个波段热红外扫描仪，扫描宽度120km ； （4）256分辨率的2个波段宽视场成像仪（WFI），扫描宽度890km； （5）重复观测周期是26天，由于CCD相机具有侧视功能，观测同一地 区的最短周期可以为3天。
Sensor three： CBERS
Multi-sensor data
RGB432(2006)
Sensor four：Quick-Bird & IKONOS & MODIS
高分辨率商业卫星 Quick-Bird
Multi-sensor data
单波段星下分辨率为2.44米,全色分辨率为0.61米,其一副图象可以覆盖 16.5×16.5km2.
Sensor two：SPOT
Multi-sensor data
RGB432
Sensor three： CBERS
Multi-sensor data
CBERS系列卫星：即中巴资源卫星（ China-Brazil Earth Resource Satellite ）

1999年10月CBERS-1发射 2003年11月CBERS-2发射
Sensor one：Landsat
Multi-sensor data
RGB321
RGB752
Sensor two：SPOT


Multi-sensor data

1986年发射SPOT-1； 1989年发射SPOT-2； 1993年发射SPOT-3； 1996年发射SPOT-4； 2002年发射SPOT-5;
多源遥感数据融合探讨
李文波
2007年5月28
报告内容安排
Part one ： 多源遥感数据介绍 Part two： 多源遥感数据融合 Part three：融合算法探讨 Part four： IKONOS & QB 融合效果 Part five： 融合中的难点
Part one ：
多源遥感数据介绍
空间配准
空间配准中最关键、最困难的问题寻找地面控制点（GCP, Ground Control Point）。 (1）GCP选择：如边界、线状物交叉点、区域轮廓线等明显的特征。 （2）插值：根据映射关系，对非参考影像进行重采样，获得同参考影像配准 的影像。插值法有：邻近点插值法、双线性插值法和立方卷积插值法三种， 精度要求：空间配准的精度一般要求在0~2个像元内，融合精度一般在一个 像元以内。 同一传感器数据融合不需配准。（Jian Guo Liu, 2000）
Sensor one：Landsat

Multi-sensor data
1972年7月23日美国发射第一颗地球资源卫星 ERTS-1； 1975年发射ERTS-2，改名Landsat-2； 1978年发射Landsat-3； 1982年在Landsat1-3的基础上改进设计并发射Landsat-4； 1984年发射Landsat-5； 1993年发射Landsat-6卫星，上天后由于故障陨落； 1999年发射Landsat-7。 数据特点： 光谱信息丰富 覆盖面积大 空间分辨率相对较高 覆盖面积为185×185km2，回归周期为16天或者18天。影像的空间分 辨率从多光谱扫描仪MSS的80米－>专题制图仪TM影像的30米－>增 强性专题制图仪ETM+的全色Pan波段的15米。
问题：如何改进？
Fusion Methods
小波变换
小波变换（Wavelet transform, WT ）是一种新兴的数学分析方法，已 经受到了广泛的重视。小波变换是一种全局变换，在时间域和频率域同时 具有良好的定位能力，对高频分量采用逐渐精细的时域和空域步长，可以 聚焦到被处理图像的任何细节，从而被誉为“数学显微镜”。
Fusion Methods
IHS变换
3个波段合成的RGB颜色空间是一个对物体颜色属性描述系统，而IHS色度 空间提取出物体的亮度I，色度H，饱和度S，它们分别对应3个波段的平均辐射 强度、3个波段的数据向量和的方向及3个波段等量数据的大小。RGB颜色空间 和IHS色度空间有着精确的转换关系。 以TM和SAR为例，变换思路是把TM图像的3个波段合成的RGB假彩色图像 变换到IHS色度空间，然后用SAR图像代替其中的I值，再变换到RGB颜色空间， 形成新的影像。




Part three：
融合算法探讨
低分辨率影像
高分辨率影像
问题：
低 分 辨 率 影 像 如 何 选 择 ？
数据预处理 数据预处理
问题：
高 分 辨 率 影 像 如 何 选 择 ？
光谱信息
高频信息
融合模型
综合评价
融合结果
遥感数据融合流程图
Data Preparation
数据预处理
包括几何纠正、大气订正、辐射校正及空间配准 （1）几何纠正、大气订正及辐射校正的目的主要在于去处透视收缩、叠掩、 阴影等地形因素以及卫星扰动、天气变化、大气散射等随机因素对成像结 果一致性的影响； （2）影像空间配准的目的在于消除由不同传感器得到的影像在拍摄角度、时 相及分辨率等方面的差异。
像素级融合主要分类
Fusion Methods
（1）基于光谱（彩色）域变换的融合技术 亮度－色调－饱和度变换（Intensity-Hue-Saturation， IHS）变换 和比值变换(Brovey Transform, BT)和主成分变换(Principle Component Transform, PCT)等 特点：每次该类技术每次只能对3个波段数据融合 （2）基于空间域信号分解和重构的融合技术 小波变化（Wavelet transform, WT） 基于亮度平滑滤波变换(Smoothing Filter-based Intensity Modulation, SFIM) 高通滤波变换（High Pass Filter, HPT）等 特点：其能对任意波段进行融合 （3）基于算术运算的融合技术 乘积变换(Multiplication Transform, MT )和加法变换等 特点：模型简单可以对任意波段进行融合
特征级融合是一种中等水平的融合。其先是将各遥感影像数据进行特征提取， 提取的特征信息应是原始信息的充分表示量或充分统计量，然后按特征信息 对多源数据进行分类、聚集和综合，产生特征矢量，而后采用一些基于特征 级融合方法决策级融合
决策级融合是最高水平的融合，融合的结果为指挥、控制、决策提供依据。 在这一级别中，首先对每一数据进行属性说明，然后对其结果加以融合，得 到目标或环境的融合属性说明。决策级融合的优点时具有很强的容错性，很 好的开放性，处理时间短、数据要求低、分析能力强。而由于对预处理及特 征提取有较高要求，所以决策级融合的代价较高。
表1 三级融合层次的特点
融合框架 信息损失 实时性 像素级 特征级 决策级 小 中 大 差 中 优 精度 高 中 低 容错性 抗干扰力 工作量 融合水平 差 中 优 差 中 优 小 中 大 低 中 高
表2 三级融合层次下的融合方法
像素级 代数法 IHS变换 小波变换 K-T变换 主成分变换 回归模型法 Kalman滤波法 特征级 熵法 表决法 聚类分析 Bayes估计 神经网络法 加权平均法 Dempatershafer推理法 决策级 专家系统 神经网络 Bayes估计 模糊聚类法 可靠性理论 基于知识的融 合法 Dempatershafer推理法
Fusion Methods
比值法融合模型（Brovey Transform，BT ）
R BH G BH B BH ; GBT ; BBT RG B RG B RG B
RBT
特点：它将参与RGB组合的每个波段与该组合波段总和做比值计 算进行正规化，以保持低分辨率影像的光谱分辨率，然后将比值结 果乘以高分辨率波段的亮度以获取高频空间信息 。 具有很高的光谱信息保真度。 缺点：对中高光谱的低空间分辨率RGB组合选择比较麻烦。如 TM/ETM+的RGB组合多大20种。
SFIM融合算法
SFIM (Smoothing Filter-based Intensity Modulation Transform),即基 于平滑滤波的亮度变换，其融合算法为：
FSFIM
j k
BL jk BHjk BMjk
特点：该算法可以视为在低分辨率影像中仅引入了高分辨率影像的纹 理信息，它能很好保持低分辨率影像的光谱特性。 优点：能对任意波段融合，光谱保真度好 缺点：融合效果中存在“胡椒面现象”