当前位置:文档之家› 第4讲神经网络融合

第4讲神经网络融合


注:为说明问题上述数据扩大了温度对结果的影响。
基于神经网络的传感器检测数据融合
网络结构设计: 由于输入向量有2个元素、输出向量有1个元素,所以网
络输入层的神经元有2个,输出层神经元数目为1。
神经网络是误差后身传播神经网络,其隐含层结构的层数 与各层的节点数直接影响网络性能的优劣。若隐层数较多, 网络所表达的映射就越复杂,不仅增大计算量,而且易导 致数据失真;若各隐含层的节点数较多,会使其学习时间 过长,误差也不一定最小,若节点数较少,会导致网络容 错性较差,局部极小就多。 因此,隐含层是网络结构设 计的重要问题。
典型的神经网络类型介绍 感知器神经网络的局限性:
网络结构很简单,用于解决线性问题; 作用函数为阶跃函数,主要用于解决分类问 题;
典型的神经网络类型介绍 线性神经网络特点:
网络结构上可以为单层或多层的前向网络结 构; 作用函数为线性函数,因此输出为连续变化 的任意值; 利用基于最速梯度和最小二乘原理的学习算 法,具有较好的学习性能;
在Matlab中训练网络: [net,tr]=train(net,p,t) 在Matlab中仿真网络: A=sim(net,p)
典型的神经网络类型介绍 线性神经网络的局限性:
采用线性作用函数,只能反映线性映射关系; 训练不一定能达到零误差; 网络的训练和性能受学习速率的影响。
k
按梯度下降法应沿该方向调整ak,用表示调整后的变量,即:
ˆk ak 1 ak s
J ak ak J ak
其中η 为调整步长。
典型的神经网络类型介绍
也可写为:
ak 1 ak k J ak
J ak ak 1 ak k ak
人工神经网络技术基础 神经网络的应用步骤:
神经网络的设计,包括确定网络结构、作用 函数和学习算法; 神经网络初始化; 利用实验方法获得神经网络的训练数据和测 试数据; 利用实验数据对网络进行训练和测试;
利用训练后的网络处理相关的输入信息。
典型的神经网络类型介绍 感知器神经网络特点:
经网络完成该系统的数据处理。
基于神经网络的传感器检测数据融合
理论值 环境温度 测量值 理论值 环境温度 测量值 理论值
869.189 837.808 756.575 770.997
750 20
765.326 762.908 762.734 778.058 768.418
45
767.072 753.322 754.777
E p n ik n
典型的神经网络类型介绍
网络初始化 输入训练样本
输 入 下 一 个 样 本
计算隐层和输出层输出
计算输出层误差
调整权值、阈值
误差满足 是 否 完成所有 训练样本 是 计算总体误差

总体误差满足 是 结 束

达到最大 迭代次数 是 结 束

典型的神经网络类型介绍 网络初始化
基于神经网络的传感器检测数据融合 举例:
由于红外光在介质中的传播速度受到温度等环境因素影响, 为获得较准确的测量结果需要对红外测距系统的测量数据 进行处理。为确定某一红外测距传感器系统的数据处理算
法,利用该测距系统进行如下实验:在不同温度下将目标
放置不同的距离分别进行测距,每一温度下对同一目标连 续测量5次,测量的实验数据见附表所示。请利用BP神
k ip k

k ip

k
1 4
U
3 6
2
5
典型的神经网络类型介绍 BP神经网络的反向误差传播算法:
确定网络学习的目标函数:目标函数是网络学习和调整 的准则,一般为反映误差大小等网络性能的函数。 如取误差的L2范数作为目标函数,以Ep表示第p组样本
训练第n步时的目标函数。
2 2 1 1 1 k k 2 n E p n Tp y p n d mp ymp n emp 2 2 2 m 2 m
基于神经网络的传感器检测数据融合
网络结构设计: 隐含层数设计:
隐含层的层数应大于1层,可由下式试算:

J K 1 I 1 N ceil 2
其中,N为隐层层数;J为输出层神经元个数;I为输入 层神经元个数;K为标准样本个数。本例取1层隐层。 隐含层神经元个数设计: 隐含层节点个数设计相对于隐含层数的设计比较复杂, 一般有基于最小二乘设计法、基于黄金分割设计法等。 本例取:M=2n+1,其中n为输入层神经元的个数。
人工神经网络技术基础
阶跃函数
1 x 0 f x 0 x 0
对称型阶跃函数
f x
1
x 0 - 1 x 0
人工神经网络技术基础
阶跃函数
f x
1 1 ex
对称型阶跃函数
1 e x f x 1 ex
网络结构上可以为单层或多层的前向网络结 构; 作用函数为阶跃函数,因此输出为二值变量; 利用输入和误差简单计算权值和阈值调整量, 学习算法很简单; 一般用于解决较为简单的线性分类问题。
典型的神经网络类型介绍
典型的神经网络类型介绍
典型的神经网络类型介绍
感知器神经网络的学习算法:
将梯度定义代入得:
按照上述方法,可得神经网络中权值和阈值的调整公式:
W n 1 W n W n W n k
k ij k ij k ij k ij
Wijk n
E p n
n 1 n n n k
k i k i k i k i
基于神经网络的传感器检测数据融合
网络结构设计: 作用函数设计:
隐层作用函数取正切S型传递函数tansig函数,即:
1 e 2 x f x , 1 e 2 x x
输出层作用函数取对数S型传递函数logsig函数,即:
f x 1 , 1 e x x
人工神经网络技术基础 神经网络技术的主要用途?
利用一定数据在一定误差下逼近一个解析式 未知的函数。 利用人工神经网络实现空间的线性或非线性 划分,以此实现目标分类。
神经网络的实现是基于数据的,最终的规 则对用户是透明的。
人工神经网络技术基础
人工神经网络技术基础
由上图可得:
N Y F X kWk b k 1

达到最大 迭代次数 是 结 束

典型的神经网络类型介绍 在Matlab中仿真神经网络。
对象命令方式:
• 生成网络:net=newff( PR,[S1 S2 … Sn],{TF1 TF2 … TFn},BTF);
如:net=newff( [0,10;-1,2],[5 1],
{‘tansig’, ’purelin’},’trainlm’); • 网络训练:[net, tr] = train (net, P,T) • 网络仿真:Output = sim (net, p)
信息融合技术
基于神经网络的数据融合方法及应用
本节内容
1
人工神经网络技术基础
2
3
典型的神经网络类型介绍
基于神经网络的传感器检测数据融合
人工神经网络技术基础
什么是神经网络技术?
神经网络是由数个至数十亿个被称为神经元的细胞 (组成我们大脑的微小细胞)所组成,它们以不同方
式连接而型成网络。
人工神经网络就是尝试模拟这种生物学上的体系结构 及其操作用于信息处理技术。 人工神经网络是利用多个简单计算模型有机构成一个 计算网络用以实现一个复杂的规则。
梯度下降法:设▽J(ak)是J(a)在ak点的梯度,则▽J(ak) 的负方向为函数J(a)减小最快的方向,沿该方向调整ak 寻找J(a)最小值的方法称为梯度下降法。
典型的神经网络类型介绍
用sk表示在ak点目标函数的负梯度方向,即:
s k J ak
Sk的单位向量为:
J ak ˆ s J ak
典型的神经网络类型介绍 在Matlab中仿真神经网络。
基于GUI(Graphical User Interfaces)方式: 利用nntool命令进入。
典型的神经网络类型介绍
典型的神经网络类型介绍
创建新网络
典型的神经网络类型介绍
创建新网络
典型的神经网络类型介绍
网络初始化
典型的神经网络类型介绍
误差反向传播(BP)神经网络的网络结构:
典型的神经网络类型介绍 BP神经网络的作用函数:
常采用可微的单调递增函数 输出层可采用线性函数
典型的神经网络类型介绍 BP神经网络的学习算法:
网络学习中的正向传播和反向传播 正向计算用于网络输出计算。
k k 1 k y f net f Wij n y jp bi n j
典型的神经网络类型介绍
建立数据
典型的神经网络类型介绍
建立数据
典型的神经网络类型介绍
训练网络
典型的神经网络类型介绍
训练网络
典型的神经网络类型介绍 训练网络来自典型的神经网络类型介绍
网络仿真
典型的神经网络类型介绍 在Matlab中仿真神经网络。
基于Simulink方式:neural命令
一般用于解决较为简单的线性逼近问题。
典型的神经网络类型介绍
典型的神经网络类型介绍
典型的神经网络类型介绍
线性神经网络的学习算法:
权值调整: 权值增量: 阈值调整: 阈值增量:
W i 1 W i W i
T W i e i p i bi 1 bi bi bi ei
850 20
相关主题