多传感器数据融合技术
机器人舞蹈
qiro机器人 20个机器人Nao在上海世博会法国馆完美演出了长达10 分钟的全自主集体舞蹈表演,创造了类人机器人历史性 一幕,这也是世界上第一次大规模机器人同时跳“集体 舞”。机器人Nao的表演分三个音乐片段,其中包括法 国作曲家莫里斯拉威尔的著名交响作品Bolero,完美展 示了Nao完成稳定、灵活并有节奏的动作的能力。这也 是机器人史上第一次在艺术领域达到饱含情感并与观众 产生共鸣的高度。由类人机器人领域的世界顶尖公司 Aldebaran Robotics研发
( Signal and Knowledge Integration with Decisional Control for Multi—sensory System)计划,主要目标是研究多传
感器数据融合的通用结构及实时信息融合技术等。 1998年成立了国际信息融合学会( ISIF) ,每年 举行一次信息融合国际学术会议。促进了信息融合 技术的交流与发展,相继取得了一些有重要影响的 研究成果。
成部分更优越的性能。
1.3 内容
1. 数据关联:确定从多传感器来的数据是否反映
同一个目标。 2. 多传感器ID/轨迹估计:假设从多源来的报告 反映的是同一目标,对这些数据进行综合以改 进对该目标的估计,或是改进对整个当前/未 来情况的估计。 3. 采集管理: 给定传感器环境的一种认识状态, 通过分配多个信息捕获和处理源,以最大限度 地发挥其性能,从而使其操作成本降到最低。 简言之,传感器的数据融合功能主要包括 多传感器的目标探测、数据关联、跟踪与识 别、情况评估和预测。
多传感器 数据融合技术
1. 2. 3. 4. 5. 6.
引言 基本原理、融合过程及关键技术 数据融合系统的结构及功能模型 数据融合方法 应用 研究方向和存在问题
1、引
1.1国内外研究现状
言
数据融合从20 世纪70 年代末被提出, “数据 融合”出现于20世纪70年代,源于军事领域的 C3I( command, control, communication and intelligence)系统的需要,当时称为多源相关、多传 感器混合数据融合,并于80年代建立其技术。 美国 是数据融合技术起步最早的国家,1983年,美国国 防高级研究计划局(DARPA)推出的战略计算机计划 中,将多传感器数据融合列为重大研究课题。 1984年,美国国防部(DOD)成立了数据融合专 家组(DFS—Data Fusion Subana1) ,负责指导、组 织并协调有关这一国防关键技术的系统研究, 1988 年又将其列入国防部22项关键技术之一。
光 线 系 统
导航星库
导航参数输出
视频信号预处理 及星提取模块
星图识别 及跟踪模块
导航参数(位置、 姿态)解算模块
5.3 机器人 传感器包括:摄像机、声纳、陀螺仪、激光测距等
pioneer、月球车、六足机器人(俄罗斯)、火 星探测车、制造业机器人、服务机器人、导游 机器人、机械手、Robotcup、路径规划
数据融合中心 最终结果 图2 并联融合方式
传感器n
最终结果 图1 串联融合方式
传感器1
传感器2
传感器n
初级融合中心1
初级融合中心2
二级融合中心
最终结果
图3 混合融合方式
3.2 功能模型
传感器 1
·探测
数 据 校 准
数 据 相 关
状态 估计
状态向量 行 动 估 计
态势高层估计 ·行为 ·企图 ·动向
地 面 1
地 面 N2
雷 达 1
雷 达 N3
光 电 1
光 电 N4
局部数据 融合
局部数据 融合
局部数据 融合
局部数据 融合
通信系统
C3I系统数据融合中心
其它间接 信息来源
融合输出 图7 结构模型
空中和空间 传感器 作 战 环 境 通信数据链
间接信息来源
预处理器 时 间 和 空 间 配 准
地面传感器 雷达传感器 光电传感器
更新传感器1
图5 D-S法推力结构
4.3 模糊逻辑法
针对数据融合中所检测的目标特征具有某种 模糊性的现象,有人利用模糊逻辑方法来对检测目 标进行识别和分类。建立标准检测目标和待识别 检测目标的模糊子集是此方法的研究基础。但模 糊子集的建立,需要有各种各样的标准检测目标, 同时又必须建立合适的隶属函数。而确定隶属函 数比较麻烦,目前还没种条件的限制, 往往误差较大。
1.2 定义
数据融合,是多元信息综合处理的一项新技 术,它有多种译名,如多传感器相关、多源相关、 多传感器融合、信息融合等。 数据融合比较确切的定义可概括为:
充分利用不同的时间和空间的多传感器信息资源,
采用计算机技术对按时序获得的多传感器观测信 息在一定的准则下加以自动分析、综合、支配和 使用,获得被测对象的一致性解释与描述,以完成 所需的决策和估计任务,使系统获得比它的各个组
同时其它西方发达国家和国际组织(如英、日、 德、法及欧共体等)也积极开展了数据融合技术研 究工作。1986年开始,每年IEEE主办的“机器人 与自动化”(Robotics and Automation)学术会议上都有 专门关于数据融合的专题。 各种学术刊物也纷纷开 辟专栏和出版专集,交流和探讨数据融合的有关问 题。 1987年欧洲共同体开始为期5年的SKIDS
融合方法 运行环境 信息类型 信息表示 不确定性 融合技术 适用范围
系统模型 低层数据 滤波 融合 贝叶斯估 高层数据 计 融合 高层数据 融合
概率分布 累加噪声 极值决策 命题 命题 隶属度 逻辑推理 逻辑推理
高层数据 融合
高层数据 融合
神经元网 神经元输 神经元网 动、静态 冗余互补 学习误差 低P高层 络 入 络 产生式规 则 静态 冗余互补 命题 置信因子 逻辑推理 高层数据 融合
4.1 综合平均法 该方法是把来自多个传感器的众多数据 进行综合平均。它适宜于用同样的传感器 检测同一个检测目标。如果对一个检测目 标进行了k次检测,其平均值
S=
WS
i i
k
i
W
i
k
i
Wi 为分配给第i 次检测的权数。
4.2 贝叶斯估计法 贝叶斯推理技术主要用来进行决策层 融合,它是通过先验信息和样本信息合成 为后验分布,对检测目标作出推断。
和国外相比,我国在数据融合领域的研究 起步较晚。1991年海湾战争结束以后,数据 融合技术引起国内有关单位和专家的高度重视。 一些高校和科研院所相继对数据融合的理论、 系统框架和融合算法开展了大量研究,但基本 上处于理论研究的层次上,在工程化、实用化 方面尚未取得有成效的突破,有许多关键技术 问题尚待解决,在工程应用领域,需要开发出 有重要应用价值的实用系统。 近年来数据融合 技术已形成研究热点,国家自然科学基金和国 家863计划已将其列入重点支持项目。
输入向量
输出向量
图6 人工神经网络基本原理
5、应
用
应用领域:随着多传感器数据融合技术的发展, 应用的领域 也在不断扩大, 多传感器融合技术已成功地应用于众多 的研究领域。 5.1、 C3I 5.2、飞行目标跟踪 5.3、机器人 5.4、星球车 5.5、工业过程监控 5.6、遥感图像融合处理 5.7、公共安全 5.8、环境污染监测 5.9、智能交通 5.10、 无人驾驶汽车 5.11、农业 5.12、物联网
2.2 融合过程 数据融合过程主要包括多传感器(信号获 取) 、数据预处理、数据融合中心(特征提 取、数据融合计算) 和结果输出等环节, 其 过程如下图 所示。
环 境
多 传 感 器
A/D
数 据 处 理
特 征 提 取
融 合 计 算
结 果 输 出
2.3 关键技术 数据融合的关键技术主要是数据转 换、数据相关、态势数据库和融合计 算等,其中融合计算是多传感器数据融 合系统的核心技术。
①对多传感器的相关观测结果进行验证、分 析、补充、取舍、修改和状态跟踪估计。 ②对新发现的不相关观测结果进行分析和综 合。 ③生成综合态势, 并实时地根据多传感器观 测结果通过数据融合计算, 对综合态势进行 修改。
3、数据融合系统的结构及功能模型
3.1 结构
传感器1 传感器1 传感器2 传感器n
传感器2
传感器 2
·探测
传感器 N
·探测
目标 识别
特征属性
目标属性测量 图4 功能图
目标状态测量
表1 各种融合方法的比较
加权平均 卡尔曼滤 波 贝叶斯估 计 统计决策 理论 证据推理 模糊推理 动态 动态 静态 静态 静态 静态
4、数据融合方法
冗余 冗余 冗余 冗余 冗余互补 冗余互补 原始读数 值 概率分布 高斯噪声 概率分布 高斯噪声 加权平均 低层数据 融合
5.4、星球车
勇气号火星车
好奇号火星车
5.5、工业过程监控
识别引起系统状况超出正常运行范围的故障条 件→触发报警器 石油勘探 火力发电(发电机组监控) 转炉炼钢(温度和含碳量) 核反应堆
4.4 神经网络方法
一个人工神经网络(AN) 由多层处理单元或节 点组成, 可以用各种方法互联,图6 表示一个具 有3层节点的AN , 输入向量是与目标有关的测量 参数集, 输入的数据向量经过AN 非线性变换, 得 到一个输出向量, 输出向量可能是目标身份。 这样一种变换能够产生从数据到标识分类的 映射, 也就把多传感器的数据变换为一个实体的 联合标识, 这是一种特有的并行学习方式, 完全 不同于传统的基于统计理论的数据融合法。
5.2、飞行目标跟踪
虚拟战场
科索沃虚拟战场
战场监测 士兵机器人
惯性导航 惯性导航系统是利用惯性元件来感测航行体的运动加速度, 经过积分计算,从而解算出导航参数来确定航行体的位置。 惯性导航系统可以连续给出载体的航向、姿态、速度、位 置等导航参数。具有隐蔽性好、抗干扰性强、能全天候工 作等优点,但其导航需要一段对准时间,存在“漂移”现 象,误差随时间积累,长时间工作会产生较大的积累误差 星图导航 天文导航系统的航向精度在现有导航设备中是最高的,可 为武器系统提供精确的位置、航向和姿态信息