神经网络的基本思想
v1
v2
w1i w2i
v3
vj
w3i
w ji
wni
vi = f (ui )
u i = ∑ w ji v j θ i
j =1 n
vn
对于第i个神经元的输入： v = [v1 , v2 ,L , vn ] 与第i个神经元连接的相应权值为： ωi = [ω1i , ω2i ,L , ωni ] 神经元本身的阀值为 θi 则输出Y可表示为： Y = f (ui ) = f (∑ ω ji v j θi )
BP神经网络模型 BP神经网络模型
BP(Back Propagation)网络是一种按误差反向传播的多层前馈网络。 网络是一种按误差反向传播的多层前馈网络。 网络是一种按误差反向传播的多层前馈网络
输入层
隐层
输出层
BP神经网络模型 BP神经网络模型 基本思想: 学习过程分为两个阶段： 基本思想: 学习过程分为两个阶段： 第一阶段(正向传播过程) 第一阶段(正向传播过程)；给出输入信息通过输入层经各 隐层逐层处理并计算每个单元的实际输出值； 隐层逐层处理并计算每个单元的实际输出值； 第二阶段(反向过程)：若在输出层未能得到期望的输出值， 第二阶段(反向过程) 若在输出层未能得到期望的输出值， 则逐层递归地计算实际输出与期望输出之间的差值( 则逐层递归地计算实际输出与期望输出之间的差值(即误 差)，通过梯度下降法来修改权值，使得总误差函数达到 通过梯度下降法来修改权值， 最小。 最小。
BP算法的改进 BP算法的改进
算例效果图： 算例效果图：
训训训训 0.14 改改改改 MGFPROP 标 标 BP
0.12
0.1
0.08
0.06
0.04
0.02
0
0
200
400
600
800
1000
1200
1400
1600
1800
2000
BP算法的改进 BP算法的改进 2006级孙娓娓的工作： 级孙娓娓的工作： 级孙娓娓的工作
16 14
BP算法的改进 BP算法的改进
2004级胡上蔚同学的工作： 级胡上蔚同学的工作： 级胡上蔚同学的工作 3. 放大误差信号
12 10 8 6 4
0
0.1
0.2
0.3
0.4
0.5
标准形式 δ pj = (t pj y pj ) y pj (1 y pj )
(2) 改进形式 δ pm (i) = (t pm o pm (i))[o pm (i )(1 o pm (i)]2
P M H 1P M 2 1 2 2 2. E = ∑∑ tpk ypk ) + ∑∑ tpk ypk ) ∑(hpj 0.5) ( ( 2 p=1 k=1 2 p=1 k=1 j=1
1 P M 2 3. E = ∑∑ t pk y pk） + p ( w) （ 2 p =1 k =1 其中p ( w) =
1. 放大误差信号
δpj = ln[ypj (1 ypj )] (tpj ypj )ypj (1 ypj )
m δ pk = ln[z pk (1 z pk )] ∑δ pjω jk z pk (1 z pk ) j =1
BP算法的改进 BP算法的改进 2006级孙娓娓的工作： 级孙娓娓的工作： 级孙娓娓的工作
（1）学习率的改进
ω =η
E ω
若学习率过大，可以提高收敛速度，但可能导致振荡现象甚至发散； 相反地，若学习率过小，可以保证训练能稳定的收敛，但学习速度慢。 退火算法：开始时设置学习率高(0.7-0.9), 随学习次数增加而减少。 或
1.05η(k1) η(k) = 0.7η(k1) η(k1)
α , β ,γ
min E (α , β , γ )
2. 修改误差函数新的 学习算法 修改误差函数新的BP学习算法
P K 1 P M 2 E = ∑∑(t pm opm ) + γ ∑∑( ypk 0.5)n 2 p=1 m=1 p=1 k =1
= E A + EB
E A 为标准误差函数， EB 为隐层饱和度，
m =LL=η∑ ∑δ pjωjk z pk (1 z pk )x pi p=1 j =1
P
BP网络的性能分析 BP网络的性能分析 BP网络的缺陷： BP网络的缺陷： 网络的缺陷 1. 收敛速度慢 2. 易陷入局部极小 3. 网络结构难以确定 4. 泛化能力差 ……
BP算法的改进 BP算法的改进 主要分为六个方面： 主要分为六个方面：
E(K1) > E(ቤተ መጻሕፍቲ ባይዱ) E(K1) < E(K) E(K1) = E(K)
BP算法的改进 BP算法的改进
（2）误差函数的改进 一般情形
1 P M 2 E = ∑∑ t pk y pk） （ 2 p =1 k =1
t 随着学习次数的增加， pk y pk 越来越小，会导致函数逼近速度减慢。
1 P M 1. E = ∑∑ln[1+(t pk y pk )2 ] 2 p=1 k=1
智能算法之一
神经网络算法 简介
神经网络算法的特点
（1）具有高速信息处理的能力 （2）知识存储容量大 （3）具有一定的不确定性信息处理能力 （4）具有健壮性 （5）善于处理非线性的系统的能力
神经网络的应用领域
（1）模式识别 （2）信号处理 （3）判释决策 （4）组合优化 图像识别、语音识别、手写体识别等。 图像识别、语音识别、手写体识别等。 特征提取、燥声抑制、统计预测、 特征提取、燥声抑制、统计预测、 数据压缩、机器人视觉等。 数据压缩、机器人视觉等。 模糊评判、市场分析、系统辩识、 模糊评判、市场分析、系统辩识、系 统诊断、预测估值等。 统诊断、预测估值等。 旅行商问题、任务分配、排序问题、 旅行商问题、任务分配、排序问题、 路由选择等。 路由选择等。 知识表示、专家系统、 （5）知识工程 知识表示、专家系统、自然语言处理 、实时翻译系统等。 实时翻译系统等。
前馈网络
反馈网络
神经网络的分类
学习方式： 2. 学习方式： 有导师学习 无导师学习
神经网络的学习规则 关键在于如何决定每一神经元的权值。 常用的学习规则有以下几种： (1)Hebb规则 (2)Delta规则 (最小均方差规则 ) (3)反向传播学习方法 (4)Kohonen学习规则(用于无指导训练网络 ) (5)Grosberg学习方法
E p y pj
=
y pj
1 m 2 ∑ (t pj y pj） = (t pj y pj ) 2 j
y pj net pj
δ pj = (t pj ypj ) ypj (1 ypj )
= f ′( net pj ) = y pj (1 y pj )
BP网络算法思想 BP网络算法思想
神经网络常用模型
共70多种，具有代表性的有： （1）感知器（Perceptron） （2）多层前馈（BP）网络 （3）Hopfield网络 (优化) （4）Boltzmann机（在BP中加入噪声） （5）双向联想记忆网络（快速存储） （6）盒脑态（单层自联想，可用于数据库提取知识） （7）自适应共振网络（可选参数，实现粗分类） （8）对传网络（组合式，可用于图像处理） ……
4. S形函数(logsig) 5. 双曲正切S形函数(tansig) 6. 竞争函数(compet)
f ( x) =
1 1 + e x
e x e x f ( x) = x x e +e
1, max{x} f ( x) = 0， 其 它
BP网络算法思想 BP网络算法思想 权值调整公式(梯度下降法) 权值调整公式(梯度下降法)： （1）输出层权值的调整
P
BP网络算法思想 BP网络算法思想 一般的传递函数： 一般的传递函数：
1. 极限函数(hardlim) 2. 对称函数(hardlims) 3. 对称饱和线性函数(satlins)
0, x < 0 f ( x) = 1, x ≥ 0 1, x < 0 f ( x) = 1, x ≥ 0
1, x < 1 f ( x ) = x, 1 ≤ x ≤ 1 1, x ≥ 1
j =1 n
定义
1, f (ui ) = 0,
ui > 0 ui ≤ 0
即输出与输入有兴奋与抑制两种状态，兴奋时取值1，抑制时为0。
神经网络的分类
主要从网络结构和学习方式两方面分类。 主要从网络结构和学习方式两方面分类。 1.按网络结构分为：前馈网络和反馈网络。 1.按网络结构分为：前馈网络和反馈网络。 按网络结构分为
E p net pj ω jk = η ∑ net ω jk p =1 pj
P P = η ∑ δ pj z pk p =1
=η∑(t pj ypj ) ypj (1 ypj ) z pk
p=1
P
（2）隐层权值的调整
P P E p net pk E p E v ki = η =η∑ =η∑ net pk v ki v ki v ki p =1 p =1
P E p E ω jk = η =η∑ ω jk p =1 ω jk P E p net pj =η∑ net ω jk p =1 pj
η 称为学习率，一般取值范围为0.1~0.3。
定义误差信号
δ pj =
E p net pj
=
E p
y pj net pj
y pj
BP算法的改进 BP算法的改进
（5）优化网络结构 关键是隐层的层数与隐节点的数目。 隐节点过少，学习过程不可能收敛到全局最小点； 隐节点过多，网络性能下降，节点冗余。 （6）改进优化算法 主要有共轭梯度法、Newton法、Gauss－Newton法、 Levenberg-Marquard法等