7.3 神经网络算法
7.3.1 神经网络的基本原理 人工神经网络是在研究生物神经系统的启发下发
展起来的一种信息处理方法。它模拟生物神经系统结 构，由大量处理单元组成非线性自适应动态系统，具 有高度非线性的超大规模实践特性，网络的全局作用、 大规模并行分布处理及高度的鲁棒性和容错性，有联 想记忆、抽象概括和自适应能力，这种抽象概括和自 适应能力一般称之为自学能力。
方法：
(1) 初始化网络的权和阈值
(2) WHILE终止条件满足{
(3) FOR S中的每个训练样本X{
(4) FOR隐藏或输出层每个单元j{(
(5)
I j wij oi j
i
1
;
//相对于前一层计算单元j的净输入
(6)
oj (1 ej I ) ; // 计算每个单元j的输出
(12) wij wij l Errjoi
;
(13) FOR网络中每个单元偏量 j (14) j j l Errj
5
【例7-5】 假设训练样本s 的属性值为｛1，0，1｝， 实际类别分别为1，两层 前馈神经网络NT如图 7.4所示，NT中每条有 一向加权边的权重、每
(7) FOR输出层每个单元
(8) ; Errj oj (1 oj )(Tj oj )
//计算误差
(9) FOR由最后一个到第一个隐藏层，对于隐藏层每个单元j
(10) ; Errj oj (1 oj ) Errk wjk k
//计算关于下一个较高层k的误差
(11) FOR网络中的每一个权 wij
4
0.332×(l-0.332)×(0.1311×(-0.3))=-0.0087
10
表7-14 有向加权边的新权重、每个隐藏层与输出层单元的新偏置
W46
-0.3+0.9×0.1311×0.332=-0.261
W56
-0.2+0.9×0.1311×0.525=-0.138
W14
0.2+0.9×(-0.00087)×1=0.192
个隐藏层与输出层单元 的偏置如表7-11所示， 学习率为0.9。写出输入 S训练NT的过程。
1
w14
w15
2
w24
w25
. .
w34
.
3
w35
4
w46
6
5
w56
.
.
.
.
..
.
6
首先算出单元4、5、6的输入、输出，具体结果 见表7-12，然后计算4、5、6的误差，见表7-13； NT中每条有向加权边的新权重、每个隐藏层与输 出层单元的新偏置见表7-14。
(2) 学习阶段，各处理单元状 态保持不变，各连接权值可修 改。
开始
设定连接权初值
评价
输入数据 评价标准
连接权调整
13
教师示教学习方式，
需要给定一组样本(输入
学习系统
输出数据对)，网络根据
实际输出与样本的比较， 输入 神经网络
输出层
x2
. . .
xi wij
. . ..
wjk Oj
. .P网络学习过程是一种误差边向后传播边修正
权系数的过程，BP算法把网络的学习过程分为正向
传播和反向传播两种交替过程。
（1）正向传播
输入信息先传到隐藏层的结点上，经过各单 元的特性为S型的激活函数运算后，把隐藏层结 点的输出信息传到输出结点，最后给出输出结果。
•图7.4 两层前馈神经网络
7
表7-11 权重、单元的偏置
8
表7-12 隐藏层与输出层每个单元的输入、输出
单元j
输入Ij
4 0.2×1+0.4×0+(-0.5)×1+(-0.4)=-0.7 5 (-0.3)×l+0.1×0+0.2 × 1+0.2=0.1 6 (-0.3) ×0.332+(-0.2)×0.525+0.1=-0.105
（2）反向传播
如果得不到实际的输出，则转入反向传播
过程，将误差信号沿原来的连接线路返回，通过
修改各层神经元的权值，逐次地向输入层传播进
行计算，再经过正向传播过程。这两个过程的反
复运用，逐渐使得误差信号最小，网络学习过程
就结束。
4
3．BP算法
BP算法如下。 其中的 相，期连l为望的学输有习出向率；加；权Eror边j为i为的与单权隐元重藏i的；层输为单出改元；变j的o单j误为元差单j活加元性权j的的和输偏；出量w；j。k为Tj为单输元出j与层单单元元k j 输入：训练样本S，学习率l，多层前馈网络。 输出：一个训练的、对样本分类的神经网络。
5
0.2+0.9×(-0.0065)=0.194
4
-0.4+0.9×(-0.0087)=-0.408
11
7.3.3 定义神经网络拓扑
神经网络在开始训练之前，必须确定输人层 的单元数、层数，每个隐藏层的单元数和输出层 的单元数，以确定网络拓扑结构。
如何选取最佳的隐藏层数目，可以参考下面的 公式
n
W15
-0.3+0.9×(-0.0065)×1=-0.306
W24
0.4+0.9×(-0.0087)×0=0.4
W25
0.1+0.9×(-0.0065)×0=0.1
W34
-0.5+0.9×(-0.0087)×1=-0.508
W35
0.2+0.9×(-0.0065)×1=0.194
6
0.1+0.9×0.1311=0.218
k c(in1 ), n1 n m a, n1 log 2n i0
其中，k为样本数，n为输入结点数，m为输出样本， 为隐藏层结点数。
12
7.3.4 神经网络工作过程
所有神经网络的工作过程主 要分两个阶段：工作阶段和学 习阶段
(1) 工作阶段，此时各连接权 值固定，处理单元状态变化， 以求达到稳定状态；
输出Oj
1/(l+e-(-0.7))=0.332 1/(l+e-0.1)= 0.525 1/(l+e-(-0.105))=0.474
9
表7-13 隐藏层与输出层每个单元的误差
单元j
误差
6
0.474×(1-0.474)×(l-0.474)=0.1311
5
0.525×(l-0.525)×(0.1311×(-0.2))=-0.0065
1
工程上用的人工神经元模型如图所示：
2
7.3.2 反向传播模型
1.工作原理
神经网络模型分为前 馈多层式网络模型、 反馈递归式网络模型、 随机型网络模型等。
误差反向传播(Back propagation，简称BP 网络) ，又称为多层 前馈神经网络。
其模型结构如图7.3所示
输入层 x1
隐藏层