( 1 (2) (2) j xi
)
)
不同处：局部误差δ计算。 (3) ' (3) d -f(s ) 和 f (s 乘积成正比 输出层， δ与 qj j j)
3) (3) ' (3) ( d f ( s ) f ( s j j j ) qj
隐含层, 局部误差δ由输出层的性能误差经反向传播而得。
Back Propagation）。
采用BP算法的MFNN是使用最广泛的神经网络，有时也称其 为BP神经网络。
1. 多层前馈网络的结构
1）多层前馈网络的组成 全连接的网络，由输入层，隐含层，输出层组成
2
输入层：仅起信息传递作用，激活函数相当于恒等函数。 输出即为输入， (0) (0)
x1 x1,xn0 xn0
输出层：由W(3)与第二隐含层全连接。激活函数可以是线性
函数或S函数。函数逼近多用线性函数。
y x (3) f ( s(3) ) f (W (3) x (2) )
5
2) 多层前馈网络的结构特点
（1）同一层神经元间无连接。
（2）相邻两层神经元之间全连接。
（3）信息传递有方向性。
前向计算时，由输入向输出逐层计算。
误差反向传播用以修正连接权时，则反向计算。
6
x
(1) (2)
f (s ) = f (W x )
（） 1 (1) (0) （2） (2)
x = f( s ) f (W
x )
7
(1)
y x (3) f ( s(3) ) f (W (3) x (2) )
2. BP算法
1）算法推导
第q个样本加在网络上，定义性能指标
n2 1 n3 (3) (2) 2 (2) [d qk f ( wkh xh )] x j 2 k 1 h 1 (3) (3) (3) d qk f ( sk ) f ' ( sk ) wkj k 1 n3 (3) k(3) wkj k 1 n3
8
而
Eq s
(3) j
1 n3 (3) 2 (3) [d qh f ( sh )] s j 2 h 1
( 3) ' ( 3) ( 3) d f ( s ) f ( s ) j j j qj
(3) j 是表现在输出
(2) s (2) w j ji
(2) (j 2) xi(1)
结果可以推广到所有的隐含层
(1) w(1) ji
Eq w(1) ji
(1)
Eq s (1) j
Байду номын сангаас(1) s (1) w j ji
(1) j(1) xi(0)
10
2）标准BP算法权值调整
考虑输出层
(3) w(3) ji
Eq w(3) ji
(3)
Eq s (3) j s (3) w(3) j ji
由于
s (3) j w(3) ji
n2 (3) (2) ( 2) w x x jh h i w(ji3) h 1
3
第一隐含层：由W(1)与输入层全连接。 第二隐含层：由W(2)与第一隐含层全连接。 1 激活函数： y j f ( s j ) bs j 1 e
（） 1 x (1) f ( s ) =f (W (1) x (0) ) （） 2 x (2) =f ( s ) f (W (2) x (1) ) 4
(2) j
n1 (2) (1) (1) w x x jh h i w(ji2) h 1 Eq x (2) j x
(2) j
s
(2) j

Eq x
(2) j
f (s )
'
(2) j
x(j2) f (s(j2) )
9
Eq x (2) j
' (2) (3) (3) ( 1 ) ' ( 1 ) ( 2) (2) (2) j =f ( s j ) k wkj ， j =f ( s j ) k wkj k 1 k 1 n3 n2
n3 d q : 期望输出 1 1 T 2 Eq (d q yq ) (d q yq ) (dqj yqj ) 2 2 j 1 yq : 网络输出
由梯度法
w
(l ) ji (l )
Eq w
(l ) ji
, l 1, 2,3
: 学习率
(3) (2) s (3) W x j
输出层与隐含层的权值修正公式具有相同的形式 Eq (3) (3 ) (3) (3) (2 ) w ji = j xi (3) w ji
w
(2) ji

(2 )
Eq
1 ) ( 1 w(ji
)
w(ji2) Eq ( 1 ) ( 1 ) (0 j xi (1) w ji
层的局部误差
与输出层相连的权值调整
(3) (3) (2) w(3) j xi ji
考虑第二隐含层
(2) w(2) ji
Eq w(2) ji
(2)
Eq s (2) j s (2) w(2) j ji
由于
s (2) j w(2) ji Eq s
h=j的留下
误差反传
n3 k 1
于是 所以
Eq s (2) j

Eq x (2) j x (j2) s (j2)
(3) (3) (2) f ' ( s (2) j ) k wkj j
(2) w(2) ji
Eq w(2) ji
(2)
Eq s (2) j
二、多层前馈网络与BP算法
Perceptron是由单层神经元构成的神经网络，δ学习规则
只适用于单层神经网络和线性可分的训练模式。
在Perceptron的基础上加入了隐含层，形成了多层前馈网 络MFNN（Multilayer Feedforward NN），也有称其多层感知 器（MLP，Multilayered Perceptron）。 其训练算法就是著名的误差反向传播算法（BP，Error