这种网络没有反馈存在，实际运行仍是单向的，所以
不能将其看成是一非线性动力学系统，而只是一种非线性 映射关系。具有隐含层BP网络的结构如图4-9所示。
4.4 几种典型的神经网络
（1）BP算法原理
图4-9 BP网络的结构
4.4 几种典型的神经网络
（1）BP算法原理
目标函数： 函数为Sigmoid函数：计算机实现流程
1) 初始化，对所有权值赋以随机任意小值，并对阈值设定 初值； 2) 给定训练数据集，即提供输入向量 X 和期望输出 y ； 3) 计算实际输出 y
4.4 几种典型的神经网络
（3）BP算法的计算机实现流程
4) 调整权值，按误差反向传播方向，从输出节点开始返 回到隐层按下式修正权值
4.4 几种典型的神经网络
4.4.2 径向基神经网络
构成RBF网络的基本思想：用RBF作为隐单元的“基” 构成隐含层空间，这样就可将输入矢量直接(即不通过权 连接 ) 映射到隐空间。当 RBF 的中心点确定以后，这种映 射关系也就确定了。而隐含层空间到输出空间的映射是 线性的，即网络的输出是隐单元输出的线性加权和。此 处的权即为网络可调参数。
4.4 几种典型的神经网络
4.4.3 Hopfield网络
美国物理学家 Hopfield在1982年 首先提出了一种 由非线性元件构 成的单层反馈网 络系统，称这种 单层反馈网络为 Hopfield网络。图 4-11给出Hopfield 网络的一种结构 形式。 图4-11 Hopfield网络的结构
(1) BP算法原理
BP学习算法的基本原理是梯度最速下降法，它的中心思 想是调整权值使网络总误差最小。
4.4 几种典型的神经网络
(1) BP算法原理
多层网络运用BP学习算法时，实际上包含了正向和反向 传播两个阶段。在正向传播过程中，输入信息从输入层经 隐含层逐层处理，并传向输出层，每一层神经元的状态只 影响下一层神经元的状态。如果在输出层不能得到期望输 出，则转入反向传播，将误差信号沿原来的连接通道返回， 通过修改各层神经元的权值，使误差信号最小。
4.4 几种典型的神经网络
（1）Hopfield网络模型
Hopfield网络模型的基本原理：只要由神经元兴奋的算
法和联接权系数所决定的神经网络的状态，在适当给定的
兴奋模式下尚未达到稳定状态，那么该状态就会一直变化 下去，直到预先定义的一个必定减小的能量函数达到极小
值时，状态才达到稳定而不再变化。
4.4 几种典型的神经网络
4.4 几种典型的神经网络
4.4.2 径向基神经网络
（1）径向基函数网络模型
RBF网络由两层组成，其结构如图4-10所示。
图4-10 RBF网络的结构
4.4 几种典型的神经网络
4.4.2 径向基神经网络
（1）径向基函数网络模型
输入层节点只是传递输入信号到隐含层，隐含层节点
由象高斯核函数那样的辐射状作用函数构成，而输出层节
4.4 几种典型的神经网络
（2）BP算法的计算步骤
3)计算一个与输出单元联接权值改变时的误差变化率EW
4)为了计算对误差总的影响，把对各输出单元的所有单 独影响相加
4.4 几种典型的神经网络
（2）BP算法的计算步骤 运用步骤2)和4)，可把一层单元的EA变 成前面一层单元的EA，为了得到期望的前面 各层的EA，可重复此计算步骤。当得到一个 单元的EA后，可用步骤2)和3)来计算作用于 它的输入联接上的EW。
正向推算过程：
（1）隐层输出 （2）网络输出
4.4 几种典型的神经网络
（2）BP算法的计算步骤
1) 计算一个输出单元活性改变时的误差导数EA，即实际输 出与期望输出的差值
2)计算一个单元所接受总输入变化时的误差导数EI，EI 实际上等于上述步骤1)的结果乘以一个单元的总输入变化时 其输出的变化率，即
络功能。Hopfield网络所构成的动力学系统与固体物理学模
型自旋玻璃相似，可用二次能量函数来描述系统的状态， 系统从高能状态到低能的稳定状态的变化过程，相似于满 足约束问题的搜索最优解的过程。
4.4 几种典型的神经网络
（3）Hopfield网络的的优化计算功能
Hopfield网络可用于优化问题的计算。Hopfield网络用 于优化问题的计算与用于联想记忆的计算过程是对偶的。
（2）Hopfield网络的联想记忆功能
Hopfield网络的联想记忆过程，从动力学的角度就是非线
性动力学系统朝着某个稳定状态运行的过程，这一过程可分为
学习和联想两个阶段。
在给定样本的条件下，按照Hebb学习规则，调整联接权值， 而联想是指在已调整好权值不变的情况下，给出部分不全或受 了干扰的信息，按照动力学规则改变神经元的状态，使系统最 终变到动力学的吸引子。即指收敛于某一点，或周期性迭代 (极限环)，或处于混沌状态。
使得存储的样本成为动力学的吸引子，这个过程就是学习阶段。
4.4 几种典型的神经网络
（2）Hopfield网络的联想记忆功能
Hopfield网络用于联想记忆的学习算法，本算法取偏流I为零。 1) 按照Hebb规则设置权值
2) 对未知样本初始化
4.4 几种典型的神经网络
（2）Hopfield网络的联想记忆功能
点通常是简单的线性函数。隐含层节点中的作用函数(核 函数)对输入信号将在局部产生响应。
4.4 几种典型的神经网络
（2）网络输出
RBF网络的输入层到隐含层实现
种形式
x ui ( x )
的非线性
映射，径向基网络隐含层节点的作用函数一般取下列几
4.4 几种典型的神经网络
（2）网络输出
最常用的是高斯激活函数
w(k )既可表示单个的连接权系数；D(k ) J w(k ) 为 k 式中，
η 为学习速 时刻的负梯度： D ( k 1)是 k 1 时刻的负梯度：
η 0； 率， 0 1。 为动量项因子，
4.4 几种典型的神经网络
4.4.2 径向基神经网络
1985年，Powell提出了多变量插值的径向基函数 (Radial Basis Function，RBF)方法。 径向基函数网络比BP网络需要更多的神经元，但是 它能够按时间片来训练网络。径向基网络是一种局部逼 近网络，已证明它能以任意精度逼近任一连续函数。
3) 迭代计算
直至节点输出状态不改变时，迭代结束。此时节点 的输出状态即为未知输入最佳匹配的样本。
4) 返回 2)继续迭代。
4.4 几种典型的神经网络
（3）Hopfield网络的的优化计算功能
Hopfield网络理论的核心思想认为，网络从高能状态转 移到最小能量状态，则达到收敛，获得稳定的解，完成网
采用高斯基函数，具备如下优点： • 表示形式简单，即使对于多变量输入也不增加太多的复 改性； • 径向对称； • 光滑性好，任意阶导数存在； • 由于该基函数表示简单且解析性好，因而使于进行理论 分析。
4.4 几种典型的神经网络
（2）网络输出
最常用的是高斯激活函数
采用高斯基函数，具备如下优点： • 表示形式简单，即使对于多变量输入也不增加太多的复 改性； • 径向对称； • 光滑性好，任意阶导数存在； • 由于该基函数表示简单且解析性好，因而使于进行理论 分析。
1)无教师学习阶段 (a) 给定各隐节点的初始中心向量 算的 (b) 计算距离(欧氏距离)并求出最小距离的节点；
ci (0)
和判定停止计
4.4 几种典型的神经网络
（3）RBF网络的学习过程
(c)调整中心
(d)判定聚类质量 对于全部样本 k 反复进行以上(b)，(c)步，直至满足以 上条件。
4.4 几种典型的神经网络
智能控制理论及其应用
信息学院·尤富强
4.4 几种典型的神经网络
按照神经网络的拓扑结构与学习算法相结 合的方法可将神经网络的类型分为前馈网络、竞 争网络、反馈网络和随机网络四大类。
4.4.1 BP神经网络
1986年，D. E. Rumelhart和J. L. McClelland提出了 一种利用误差反向传播训练算法的神经网络，简称BP(Back Propagation)网络，是一种有隐含层的多层前馈网络，系 统地解决了多层网络中隐含单元连接权的学习问题。
4.4 几种典型的神经网络
（1）Hopfield网络模型
Hopfield网络的拓扑结构可看作全连接加权无向图，它 是一种网状网络，可分为离散和连续两种类型。离散网络 的节点仅取+1和-1(或0和1)两个值，而连续网络取0和1之间 任一实数。 设此网络含有 n 个神经元，神经元 i 的状态 S i 取0或1， 各神经元按下列规则随机地、异步地改变状态
4.4 几种典型的神经网络
（2）网络输出
考虑到提高网络精度和减少隐含层节点数，也可以将 网络激活函数改成多变量正态密度函数
式中，K E[(x ci ) ( x ci ) ] 是输入协方差阵的逆。 RBF网络的隐含层到输出层实现 ui ( x) yk 的线性映 射，即
T
1
4.4 几种典型的神经网络
（3）RBF网络的学习过程
2)有教师学习阶段 有教师学习也称为有监督学习。当 ci 确定以后，训练 由隐含层至输出层之间的权值，由上可知，它是一个线 性方程组，则求权值就成为线性优化问题。 隐含层至输出层之间的连接权值
wki
学习算法为
ui ( x) 为高斯函数。 u [u1( x)u2 ( x)uq ( x)]T， 式中，
4.4 几种典型的神经网络
（3）RBF网络有关的几个问题
从理论上而言，RBF网络和BP网络一样可近似任何连续非 线性函数。 已证明RBF网络具有惟一最佳通近的特性，且无局部极小。 求RBF网络隐节点的中心向量 c i 和标准化常数 i 是一个困 难的问题。 径向基函数，即径向对称函数有多种。 (RBF网络虽具有惟一最佳逼近的特性以及无局部极小的 优点，但隐节点的中心难求，这是该网络难以广泛应用的 原因。 RBF网络学习速度很快，适于在线实时控制。