vki
E
vki
P p 1
E p vki
P p 1
E p net pk
net pk vki
P m
x pj
jk
z (1 z )
pk
pk
pi
p1 j1
BP网络的性能分析
BP网络的缺陷： 1. 收敛速度慢 2. 易陷入局部极小 3. 网络结构难以确定 4. 泛化能力差 ……
k 1
y pk )2 ]
2.
E
1 2
P p1
M
(t pk
k1
y pk )2
1 2
P
p1
M
(t pk
k1
y pk )2
智能算法之一
神经网络算法 简介
神经网络算法的特点
（1）具有高速信息处理的能力 （2）知识存储容量大 （3）具有一定的不确定性信息处理能力 （4）具有健壮性 （5）善于处理非线性的系统的能力
神经网络的应用领域
（1）模式识别 图像识别、语音识别、手写体识别等。 （2）信号处理 特征提取、燥声抑制、统计预测、
jk
ห้องสมุดไป่ตู้
E jk
P p 1
Ep jk
P p1
Ep net pj
netpj jk
称为学习率，一般取值范围为0.1~0.3。
定义误差信号
Ep Ep ypj
pj
net pj
ypj net pj
Ep
y pj
y pj
1
2
m j
(t pj y pj）2 (t pj y pj )
1, x 0 f (x) 1, x 0
1, x 1 f (x) x, 1 x 1
1, x 1
1 f (x) 1 ex
5. 双曲正切S形函数(tansig)
ex ex f (x) ex ex
6. 竞争函数(compet)
1, max{x} f (x) 0， 其它
BP网络算法思想 权值调整公式(梯度下降法)： （1）输出层权值的调整
y pj net pj
f (net pj ) ypj (1 ypj )
(t y ) y (1 y )
pj
pj
pj
pj
pj
BP网络算法思想
jk
P p 1
E p net pj
net pj
jk
P
pjz pk
p 1
P
(t pj
y pj
)
y pj
(1
y pj
)
z pk
p1
（2）隐层权值的调整
…
vn
vi f (ui )
f ( ui )
n
ui w ji v j i j 1
对于第i个神经元的输入：v [v1, v2, , vn ]
与第i个神经元连接的相应权值为： i [1i ,2i , ,ni ]
神经元本身的阀值为 i
n
则输出Y可表示为： Y f (ui ) f ( jiv j i ) j 1
关键在于如何决定每一神经元的权值。 常用的学习规则有以下几种：
(1)Hebb规则 (2)Delta规则 (最小均方差规则 ) (3)反向传播学习方法 (4)Kohonen学习规则(用于无指导训练网络 ) (5)Grosberg学习方法
神经网络常用模型
共70多种，具有代表性的有： （1）感知器（Perceptron） （2）多层前馈（BP）网络 （3）Hopfield网络 (优化) （4）Boltzmann机（在BP中加入噪声） （5）双向联想记忆网络（快速存储） （6）盒脑态（单层自联想，可用于数据库提取知识） （7）自适应共振网络（可选参数，实现粗分类） （8）对传网络（组合式，可用于图像处理） ……
BP神经网络模型
BP(Back Propagation)网络是一种按误差反向传播的多层前馈网络。
输入层
隐层
输出层
BP神经网络模型
基本思想: 学习过程分为两个阶段： 第一阶段(正向传播过程)；给出输入信息通过输入层经各 隐层逐层处理并计算每个单元的实际输出值； 第二阶段(反向过程)：若在输出层未能得到期望的输出值， 则逐层递归地计算实际输出与期望输出之间的差值(即误 差)，通过梯度下降法来修改权值，使得总误差函数达到 最小。
BP网络算法思想
以三层BP网络为例。
假设网络的输入、隐层、输出节点数分别为n,q,m个，P个样本点。
隐层第k个节点的输出为：
n
z pk f (netpk ) f ( vkix pi ), k 1, 2,..., q i0
输出层第j个节点的输出为：
q
y pj f (net pj ) f ( jk zpk ), k 0
数据压缩、机器人视觉等。 （3）判释决策 模糊评判、市场分析、系统辩识、系
统诊断、预测估值等。 （4）组合优化 旅行商问题、任务分配、排序问题、
路由选择等。 （5）知识工程 知识表示、专家系统、自然语言处理
、实时翻译系统等。
神经网络的基本思想
v1
w1i
ui
v2
w2i
v3
w3i
…
w ji
vj
wni
θi
BP算法的改进 主要分为六个方面：
（1）学习率的改进
E
若学习率过大，可以提高收敛速度，但可能导致振荡现象甚至发散； 相反地，若学习率过小，可以保证训练能稳定的收敛，但学习速度慢。
退火算法：开始时设置学习率高(0.7-0.9), 随学习次数增加而减少。
或
1.05( k 1) (k) 0.7(k1)
定义
1, f (ui ) 0,
ui 0 ui 0
即输出与输入有兴奋与抑制两种状态，兴奋时取值1，抑制时为0。
神经网络的分类
主要从网络结构和学习方式两方面分类。 1.按网络结构分为：前馈网络和反馈网络。
前馈网络
反馈网络
神经网络的分类
2. 学习方式： 有导师学习 无导师学习
神经网络的学习规则
( k 1)
E(K 1) E(K ) E(K 1) E(K ) E(K 1) E(K )
BP算法的改进
（2）误差函数的改进
一般情形
E
1 2
P p 1
M
（t pk
k 1
y
）2
pk
随着学习次数的增加，tpk ypk 越来越小，会导致函数逼近速度减慢。
1.
E
1 2
P p 1
M
ln[1+(t pk
j 1, 2,..., m
其中函数f(.)为传递函数。又假设理想(目标)输出为tpj。 则定义全局误差函数为
E
P
Ep
p 1
1 2
P p 1
m
（t pj
j 1
y
）2
pj
BP网络算法思想
一般的传递函数：
1. 极限函数(hardlim)
f
(x)
0, 1,
x0 x0
2. 对称函数(hardlims) 3. 对称饱和线性函数(satlins) 4. S形函数(logsig)