wij (t 1) wij (t) wij (wij (t) wij (t 1))
其中 为学习速率， 为动量因子。
0,1
0,1
仿真实例： 取标准样本为3输入2输出样本，如表3-1所示。
表3-1 训练样本
输入
输出
10010 0 1 0 0 0.5 00101
表 3-1 μ=0.5 时的学习结果 ( 学习速率较小 )
k
1
w1(k), y(k) 1
234
5
1.5 1.75 1.875 1.9375
表 3-2 μ=1.5 时的学习结果 ( 学习速率较大 )
k
1
w1(k), y(k) 3
234
5
1.5 2.25 1.875 2.0625
表 3-3 μ=2 时的学习结果 ( 学习速率过大 )
yn x'j
x'j x j
x j wij

w
j2

x'j x j
xi
w j2 x'j (1 x'j ) xi
k+1时刻网络的权值为：
wij (k 1) wij (k) wij
如果考虑上次权值对本次权值变化的影响，需
要加入动量因子
此时的权值为： wj2(k 1) wj2(k) wj2 (wj2(k) wj2(k 1))
BP网络的主要缺点为： （1）待寻优的参数多，收敛速度慢； （2）目标函数存在多个极值点，按梯度下降法进行 学习，很容易陷入局部极小值； （3）难以确定隐层及隐层节点的数目。目前，如何 根据特定的问题来确定具体的网络结构尚无很好的 方法，仍需根据经验来试凑。
BP网络的应用领域：
（1）模式识别 （2）图像处理 （3）系统辨识 （4）函数拟合 （5）优化计算 （6）最优预测 （7）自适应控制
第三章 神经网络控制 （Neural Network Control）
➢人工神经元模型 ➢神经元的学习方法 ➢神经元网络 ➢神经网络控制 ➢应用实例
3.1 人工神经元模型
一、神经元模型（The Neuron） 生物神经元是脑组织的基本单元，人脑约
1011个神经元。
二、人工神经元： 利用物理器件（电子、光电）、软件在计算
由于BP网络具有很好的逼近特性和泛化能力， 可用于神经网络控制器的设计。但由于BP网络收 敛速度慢，难以适应实时控制的要求。
二、RBF神经网络
径向基函数(RBF-Radial Basis Function)
输入到输出的映射是 非线性的，而隐含层 空间到输出空间的映 射是线性的。 作用函数为高斯函数
Cj [c1j ,c2 j cij cn j ]T 其中，i=1,2,…n
设网络的基宽向量为：
B [b1,b2 bm ]T
b j为节点的基宽度参数，且为大于零的数。网络的
权向量为：
W [w1, w2 wj wm ]
k时刻网络的输出为：
ym(k)=wh w1h1+w2h2+ +wmhm
W1,W2的初值为[1,1]之间的随机值
0.50， 0.05
BP网络逼近程序见chap7_1.m
3.BP网络模式识别
①根据标准的输入输出模式对，采用神经网络学习 算法，以标准的模式作为学习样本进行训练，通 过学习调整神经网络的连接权值。
②当训练满足要求后，得到的神经网络权值构成了 模式识别的知识库。
②重复①、②，直至输出误差满足要求为止；
③对每组输入输出样本数据都按①～③ 进行学习；
④重复①～④，直至所有输出误差都达到要求的精 度。
（4）BP网络的逼近仿真实例
使用BP网络逼近对象：
y(k)

u(k)3

1
y(k 1) y(k 1)2
采样时间：1ms。 神经网络结构为2-6-1
输入信号为： u(k) 0.5sin(6t)
jl
x
' j
j
网络第 l 个输出与相应理想输出
x
0 l
的误差为：
el xl0 xl
第p个样本的误差性能指标函数为：
E p

1 2
N l 1
el 2
其中N为网络输出层的个数。
（2）反向传播：采用梯度下降法，调整各层间的权 值。权值的学习算法如下：
输出层及隐层的连接权值 w jl 学习算法为：
具有非线性特性
θ, f 的确定: 根据应用
wi 的确定: 通过学习
输出变换函数的常见类型:
① 符号函数 y f(s)
② 比例函数
1 , s0 1, s 0
y f ( s ) Ks , K 0
③ S 状函数 1
y f ( s ) 1 e s ,
④ 双曲函数
y
J 1 e2(k ) 2
其中 e( k ) 为基于某种评价准则的误差， 是 wi 的函数，
J
J W


w1
J

wn
称为J 在W ( k )
处的梯度，具有
则
J
e( k )
vi ( k ) wi W W ( k ) e( k ) wi W W ( k )
最大变化率。
特点：
J
沿梯度方向下降一定能到达 J 的极小点；
梯度方向
学习的快慢取决于学习速率μi 的选取； 缺点是可能陷入局部最小点。
W(k)
W
简单例：
设 y = w1x1 （即 θ= 0 , f(s) = s）
w1
x1
Σθf(·) y
w1 的初值 w1(0) = 0 用梯度下降法, 使 x1 = 1 时, y = 2 取性能指标为
1.BP神经网络特点
（1）是一种多层网络，包括输入层、隐含层和输出层； （2）层与层之间采用全互连方式，同一层神经元之间 不连接； （3）权值通过δ学习算法进行调节； （4）神经元激发函数为S函数； （5）学习算法由正向传播和反向传播组成； （6）层与层的连接是单向的，信息的传播是双向的。
2.BP网络的逼近（BP算法）
机上仿真，模拟生物结构功能。 对生物神经元的一种模拟与简化。它是神经
网络的基本处理单元。
三、神经元结构模型
j -1
sj
x1
wj1
yj
f (.)
n
s j wji xi j i 1
y j f (sj )
wjn xn
它是一个多输入、单 输出的非线性元件。
wji：连接权系数 θi：内部阈值 f(·) ：输出变换函数，
w j2

E w j2
e(k) xk
w j2
e(k) x'j
k+1时刻网络的权值为： wj2(t 1) wj2(t) wj2
隐层及输入层连接权值学习算法为：
其中
wij
E
wij
e(k ) yn
wij
yn wij
网络的学习算法如下： （1）前向传播：计算网络的输出。
隐层神经元的输入为所有输入的加权之和：
x j wij xi
i
隐层神经元的输出
x
' j
采用S函数激发 x j
x
' j

1 f (xj ) 1 exj
则
x
' j
x j

x
' j
(1
x
' j
)
输出层神经元的输出：
xl
w
u(k )
y(k) xi
wij
wj2
xj
x
' j
yn (k)
＝ ＋ BP算法
梯度 下降法
由输出层向输入层 反向计算每一层的
连接权值
（1）前向传播：计算网络的输出。
隐层神经元的输入为所有输入的加权之和：
x j wij xi
i
隐层神经元的输出采用S函数激发：
则
x
' j

f (xj)
1
1 exj
BP网络结构为3-6-2
W1,W2的初值为[1,1]之间的随机值
chap7_2a.m chap7_2b.m
0.50， 0.05
4. BP网络的优缺点
BP网络的优点为：
（1）只要有足够多的隐层和隐层节点，BP网络可以 逼近任意的非线性映射关系； （2）BP网络的学习算法属于全局逼近算法，具有较 强的泛化能力。 （3）BP网络输入输出之间的关联信息分布地存储在 网络的连接权中，个别神经元的损坏只对输入输出 关系有较小的影响，因而BP网络具有较好的容错性。
RBF网络是一种局部逼近网络，已证明它能任意精 度逼近任意连续函数。
1.RBF网络的逼近
网络的输入向量
X x1,x2,....xn T
径向基向量
H [h1,h2, hj..hm]T
其中hj为高斯基函数：
2
h j exp(-
X -Cj
2b
2 j
), j 1,2, m
网络的第j个结点的中心矢量为：
3.3 神经元网络
神经元按一定
神经
方式连接
网络
...
目的：通过学习，使神经网络具有
期望 的输入输出模式
两个关键: 网络结构 , 学习方法
常用结构: 前馈网，反馈网等
... ...
三层前馈网络
一、BP神经网络
（误差反向传播神经网络: Back Propagation ）