信息融合研究领域义 模型及算法
2
关联的二义 性是信息融 合中的主要 障碍
3
融合系统 的容错性 和稳健型 没有得到 很好的解 决。
4
信息融合系 统的设计还 存在许多的 实际问题。
在进行融合处理前，必须对信息进行关联，以保证融合的信息是 来自同一目标或事件。如果对不同目标或事件的信息进行融合， 将难以使系统得出正确的结论。这一问题称为关联的二义性，是 信息融合中主要的障碍，怎样确立信息可融性的判别准则，如何 进一步降低关联的二义性已成为如何研究领域亟待解决的问题。 。
决策级融合
传感器1
特征提取
识别
监 测 对 象
传感器2
特征提取
识别
…
传感器N
…
特征提取
…
识别
决 策 融 合
决策
信息融合方法
嵌入约束法 证据组合法 人工神经网络法
信息融合 方法
嵌入约束法
由多种传感器所获得的客观环境(即被测对象) 的多组数据就是客观环境按照某种映射关系形 成的像，信息融合就是通过像求解原像，即对 客观环境加以了解。用数学语言描述就是，所 有传感器的全部信息，也只能描述环境的某些 方面的特征，而具有这些特征的环境却有很多， 要使一组数据对应惟一的环境(即上述映射为一 一映射)，就必须对映射的原像和映射本身加约 束条件，使问题能有惟一的解。 嵌入约束法最基本的方法：Bayes估计和卡尔 曼滤波



基于神经网络的传感器信息融合特点
具有统一的内部知识表示形式，通过学习算法可 将网络获得的传感器信息进行融合，获得相应网 络的参数，并且可将知识规则转换成数字形式， 便于建立知识库； 利用外部环境的信息，便于实现知识自动获取及 并行联想推理； 能够将不确定环境的复杂关系，经过学习推理， 融合为系统能理解的准确信号； 由于神经网络具有大规模并行处理信息能力，使 得系统信息处理速度很快。
研究现状
当前，信息融合技术在军事中的应用研究己 经从低层的目标检测、识别和跟踪转向了态 势评估和威胁估计等高层应用。 目前，信息融合技术己在许多民用领域取得 成效。这些领域主要包括:机器人和智能仪 器系统、智能制造系统、战场任务与无人驾 驶飞机、航天应用、目标检测与跟踪、图像 分析与理解、惯性导航、模式识别等领域。
人工神经网络法
通过模仿人脑的结构和工作原理，设计和建立相应 的机器和模型并完成一定的智能任务。 神经网络根据当前系统所接收到的样本的相似性， 确定分类标准。这种确定方法主要表现在网络权值 分布上，同时可采用神经网络特定的学习算法来获 取知识，得到不确定性推理机制。
人工神经网络法
神经网络多传感器信息融合的实现，分三个重要步骤： 根据智能系统要求及传感器信息融合的形式，选择其拓扑 结构； 各传感器的输入信息综合处理为一总体输入函数，并将此 函数映射定义为相关单元的映射函数,通过神经网络与环 境的交互作用把环境的统计规律反映网络本身结构； 对传感器输出信息进行学习、理解，确定权值的分配，完 成知识获取信息融合，进而对输入模式做出解释，将输入 数据向量转换成高层逻辑(符号)概念。
搬运和装配工业机器人
图像融合
图像融合在机器视觉监视系统中的应用 图像融合可以增强影像中的信息透明度，改善解释的精度，提高可靠性 及使用率。
医学图像融合
身边的应用
刑侦 多传感器数据融合技术在刑侦中的应用，主要是利用红外、微波 等传感设备进行隐匿武器检查、毒品检查等。另外，将人体的各 种生物特征如人脸、指纹、声音、虹膜等进行适当的融合，能大 幅度提高对人的身份识别与认证能力，这对提高安全保卫能力是 非常重要的。 故障诊断 在工业监控应用中，每个传感器基于自身的检测统计量，可以提 炼出有关系统故障的特征信息（故障表征）。在局部故障诊断处 理单元，利用这些故障特征信息，并按照多种故障诊断方法对被 诊断的对象做出是否有故障发生的推断。而融合中心则基于一定 的准则进行融合处理，最终得出对象是否存在故障的决策。
它是一个更高级的处理 阶段。通过建立一定的 优化指标，对整个融合 过程进行实时监控与评 价，从而实现多传感器 自适应信息获取和处理 ，以支持特定的任务目 标，并最终提高整个系 统的性能
信息融合的分类
信息融合层次的划分主要有两种方法。
第一种方法是按照融合对象的层次不同，将信息融合划分为低层（数 据级或像素级）、中层（特征级）和高层（决策级）。
数据级融合(或像素级融合)
传感器1
监 测 对 象
传感器2
…
传感器N
数 据 融 合
特征 提取
识别
决策
特征级融合
利用从各个传感器原始数据中提取的特征信息，进行综合 分析和处理的中间层次过程。
通常所提取的特征信息应是数据信息的充分表示量或统计 量，据此对多传感器信息进行分类、汇集和综合。 特征级融合分类：
融合
障碍探测 内部传 感器 避障
目标物探测 感觉 功能 操作规划
环境模型 学习
定位
路径规划 任务规划：执 行机构控制 指令
舰船上的传感器信息融合
海军舰船传感器信息融合系统
行扫描 处理器 直流偏 压AGC 红外探测器
搜索器万向支架
显示 记录 人机 界面
共享 存储器 数据融合 处理器 图像 处理
惯性导 航系统

应用领域
民用
工业过程监视及 工业机器人
Text
军用
采用多传感器的 自主式武器系统 和自备式运载器
遥感与金融系统
空中交通管制与 病人照顾系统 船舶避碰与交通 管制系统 生物特征的身份 识别
情报收集系统
应用 领域
采用多传感器进 行截获、跟踪和 指挥制导的火控 系统 军事力量的指挥 和控制站 敌情指示和预警 系统
信息融合的基本原理
自然界同类多传感信息融合
左目和右目的视 觉传感器分别 获取二维图象信 息，经大脑融 合后产生立体图 象信息；
左耳和右耳的 听觉传感器分 别获取一维声 音信息，经大 脑融合后产生 立体声音信息
；
信息融合的基本原理
自 然 界 异 类 多 传 感 信 息 融 合
信息融合优势
扩展空间和时间覆盖范围
信息融合定义
信息融合是一种多层次、多方面的处理过程 , 包括 对多源数据进行自动化的检测、互联、相关、估计 和组合处理，从而提高状态和身份估计的精度，以 及对战场态势和威胁的重要程度进行有效的评价。 ---美国国防部定义：[1991] 利用计算机技术对按时序获得的若干传感器的观测 信息在一定准则下加以自动分析，优化综合以完成 所需的决策和估计任务而进行的信息处理过程。 ---最新定义
主要功能包括数 据对准、数据关 联、目标运动学 参数估计（跟踪 ），以及身份估 计等，其结果为 更高级别的融合 过程提供辅助决 策信息。
评估是指评价实 体之间的相互关 系，包括敌我双 方兵力结构和使 用特点，是对战 场上战斗力量分 配情况的评价过 程。
它将当前态势映射 到未来。在军事领 域即指威胁估计用 以对作战事件出现 的程度和可能性进 行估计，并对敌方 作战企图给出指示 和告警。
研究背景
信息融合起源 1973 数据融合 1980 MSDF
1988
C3I
1991 C4I
20世纪80年代，为了满足军事领域中作战的需要， 多传感器数据融合MSDF (Multi-sensor Data Fusion)技术应运而生。
研究背景
信息融合起源 1973 数据融合 1980 MSDF
1988
数 据
数 据 层 融 合
特 征 层 融 合
决 策 层 融 合
另一种方法将是将传感器集成和数据融合划分为信号级、证据级和动 态级。
数据级融合(或像素级融合)
对传感器的原始数据及预处理各阶段上产生的信息分别 进行融合处理。尽可能多地保持了原始信息，能够提供 其它两个层次融合所不具有的细微信息。 局限性： (1)由于所要处理的传感器信息量大，故处理代价高； (2)融合是在信息最低层进行的，由于传感器的原始数 据的不确定性、不完全性和不稳定性，要求在融合时有 较高的纠错能力； (3)由于要求各传感器信息之间具有精确到一个像素的 配准精度，故要求传感器信息来自同质传感器； (4)通信量大。
证据组合法
证据组合法是对完成某一任务的需要而处理多种 传感器的数据信息，完成某项智能任务，实际是 做出某项行动决策。它先对单个传感器数据信 息每种可能决策的支持程度给出度量(即数据信息 作为证据对决策的支持程度)，再寻找一种证据组 合方法或规则，在已知两个不同传感器数据(即证 据)对决策的分别支持程度时，通过反复运用组合 规则，最终得出全体数据信息的联合体对某决策 总的支持程度。得到最大证据支持决策，即信息 融合的结果。
机器人中的传感器信息融合
多传感器信息融合自主移动装配机器人
激光测距传感器 装配机械手 力觉传感器 触觉传感器 控制和信 息融合计 算机 视觉传感器 自主移动装配机器人 超声波传感器
多传感器在移动机器人中的应用
外 界 环 境 红外接近觉 力觉 触觉
视觉１
视觉２
超声波传感器
立体视觉 景物识别
地标识别
目标状态信息融合
目标特性融合。
监 测 对 象 传感器1 传感器2 特征提取
特征提取
…
…
特 征 融 合
识别
决策
传感器N
特征提取
决策级融合
在信息表示的最高层次上进行的融合处理。不同类型的传感器观测 同一个目标，每个传感器在本地完成预处理、特征抽取、识别或判断， 以建立对所观察目标的初步结论，然后通过相关处理、决策级融合判 决，最终获得联合推断结果，从而直接为决策提供依据。 因此，决策级融合是直接针对具体决策目标，充分利用特征级融 合所得出的目标各类特征信息，并给出简明而直观的结果。 决策级融合优点： 实时性最好 在一个或几个传感器失效时仍能给出最终决策，因此具有良好的 容错性。