其中，是学习因子。 BP算法应用的不是基本的δ学习，而是一种扩展的δ学习规则。 但是对于所有的δ学习规则而言，某神经元的权值修正量都正 比于该神经元的输出误差和输入。 BP算法输出层对误差调整为f’(net)(y-o)。

23
隐藏层权的调整
1k
wp1
ANh AN1
…
qk
ANq
whp
pk-1
神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni 神经元的输出（s型函数）： O=f(net)=1/(1+exp(-net)) f ’(net)= exp(-net)/(1+exp(-net))2=O-O2=O(1-O)
20
网络的构成
BP算法基本思想

样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 逐一根据样本集中的样本(Xk,Yk)计算出实际输出Ok及其误差E1， 然后对各层神经元的权值W(1)，W(2)，…，W(L)各做一次调整， 重复这个循环，直到∑Ep<ε（所有样本的误差之和）。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的 直接前导层的误差，再用输出层前导层误差估计更前一层的误 差。如此获得所有其它各层的误差估计，并用这些估计实现对 权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相 反的方向逐级向输入端传递的过程。


4Leabharlann 4.1.1 人工神经网络研究的进展

萌芽期（20世纪40年代）


1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加 权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Methematical Biophysics》。 1949年，心理学家D. O.Hebb提出神经元之间突触联系是可变的假 说——Hebb学习律。
（2）按极小化误差的方式调整权矩阵。
1 m （3）网络关于第p个样本的误差测度： E p ( y pj O pj ) 2 j 1 （4）网络关于整个样本集的误差测度： E E p
p
22
输出层权的调整
ANp
wpq wpq
第L-1层 第L层
ANq
w pq w pq w pq w pq q O p f n' (netq )( y q Oq )O p Oq (1 Oq ) ( y q Oq )O p
神经网络的学习可分为有教师学习与无教师学习两类。 由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用 这种不精确性，比较自然地实现模式的自动分类。具有很强的普化 （Generalization）能力与抽象能力。 具有一般非线性动力系统的共性，即不可预测性、耗散性、高维性、 不可逆性、广泛连接性和自适应性等等。
输出层
19



输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏 层神经元的个数的决定了网络拓扑 增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网 络精度和表达能力。 BP网一般都选用二级（3层）网络。因为可以证明如果BP网络 中隐层单元可以根据需要自由设定，那么一个三层网络可以 实现以任意精度近似任意连续函数。
10
函数 f( _ )表达了神经元的输入输出特性。 往往采用0和1二
值函数或Ｓ形函数。 一种二值函数可由下式表示：
1, yi 0,
其图像如图所示。
ui 0 ui 0
如果把阈值θi看作为一个特殊的权值，则可改写为:
yi f ( w ji x j )
j 0
n
其中，w0i＝-θi，x0＝1
11
为用连续型的函数表达神经元的非线性变换能力，常采 用s型函数，如下图所示。
f(ui) 1
0
ui
-1
1 f (ui ) 1 eui
e ui e ui f ( u i ) ui e e ui
其中，第一个函数为常规的s型函数，其输出均为正值； 第二个函数为双曲正切函数，其输出值可为正或负 。
14
（2）前馈网络
前馈网络具有递阶分层结构，由一些同层神经元间不存在 互连的层级组成。从输入层至输出层的信号通过单向连接流通； 神经元从一层连接至下一层，不存在同层神经元间的连接，如图 所示。 图中，实线指明实际 信号流通而虚线表示反向 传播。前馈网络例子有多 层感知器(MLP)、学习矢 量量化(LVQ)网络、小脑模 型联接控制(CMAC)网络和 数据处理方法(GMDH)网 络等。
7

再认识与应用（1991~）



人工神经网络的特点

具有大规模并行协同处理能力。

每一个神经元的功能和结构都很简单，但是由大量神经元构成的整 体却具有很强的处理能力。

具有较强的容错能力和联想能力。


单个神经元或者连接对网络整体功能的影响都比较微小。 在神经网络中，信息的存储与处理是合二为一的。信息的分布存储 提供容错功能–由于信息被分布存放在几乎整个网络中。所以当其 中的某一个点或者某几个点被破坏时信息仍然可以被存取。
16
（２）无师学习 无师学习算法不需要知道期望输出。在训练过程中， 只要向神经网络提供输入模式，神经网络就能够自动地适 应连接权，以便按相似特征把输入模式分组聚集。无师学 习算法的例子包括Kohonen算法和Carpenter-Grossberg自适 应谐振理论（ART)等。 （３）强化学习 如前所述，强化（增强）学习是有师学习的特例。它 不需要老师给出目标输出。强化学习算法采用一个“评论 员”来评价与给定输入相对应的神经网络输出的优度（质 量因数）。强化学习算法的一个例子是遗传算法（GA）。
17
4.1.3 人工神经网的典型模型及其算法
迄今为止，已经开发和应用了30多种人工神经网络模型。 在这里，我们对一些典型网络模型及其算法进行介绍。
1、反向传播(BP)模型 2、 Hopfield网络（自学） 3、自适应共振理论(ART)模型（自学）
18
1、反向传播(BP)模型
网络拓扑结构
输入层
隐藏层
元及其互连方法决定的。
x1
xn
j
wj1 ： ： wjn
f(_)
yj
如图所示，神经元单元由多个输入xi，i=1,2,...,n和一个输出y 组成。中间状态由输入信号的权和表示，而输出为：
y j (t ) f ( wij xi j )
i 1 n
式中，j为神经元单元的偏置（阈值），wji为连接权系数 （对于激发状态，取正值，对于抑制状态，取负值），n为输入 信号数目， yj为神经元输出，t为时间，f(＿)为输出变换函数。
在线监测与故障诊断
Online Monitoring and Fault Diagnosis
倪建军 博士 河海大学常州校区
1
第四章 常用故障诊断算法 The algorithms of fault diagnosis
2
本章主要内容及重要知识点
主要内容：

专家系统
人工神经网络
支持向量机 模糊推理
的情况，此函数的形式为：
f i ( w ji x j i )
j 1 n
13
人工神经网络的结构基本上分为两类：递归（反馈） 网络和前馈网络。
（１）递归网络
在递归网络中，多个神经元互 连以组织一个互连神经网络，如图 所示。有些神经元的输出被反馈至 同层或前层神经元。因此，信号能 够从正向和反向流通。Hopfield网 络，Elmman网络和Jordan网络是递 归网络有代表性的例子。递归网络 又叫做反馈网络。
ANp
wpq
wpm
…
qm
ANm
第k-2层
第k-1层
第k层
24
隐藏层权的调整
δpk-1的值和δ1k，δ2k，…，δmk有关。不妨认为δpk-1 ： 通过权wp1对δ1k做出贡献， 通过权wp2对δ2k做出贡献，
以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人 物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人 们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地 投入此项研究，希望尽快占领制高点。 “异或”运算不可表示。 二十世纪70年代和80年代早期的研究结果。 认识规律：认识——实践——再认识



2）1984年，J.Hopfield设计研制了后来被人们称为Hopfield 网的电路。较好地解决了著名的TSP问题，找到了最佳解的 近似解，引起了较大的轰动。 3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所 在的并行分布处理（PDP）小组的研究者在Hopfield网络中 引入了随机机制，提出所谓的Boltzmann机。
15
3、人工神经网络的主要学习算法
神经网络主要通过指导式（有师）学习算法和非指导 式（无师）学习算法。此外，还存在第三种学习算法，即 强化学习算法；可把它看做有师学习的一种特例。
（1）有师学习
有师学习算法能够根据期望的和实际的网络输出（对 应于给定输入）间的差来调整神经元间连接的强度或权。 因此，有师学习需要有个老师或导师来提供期望或目标输 出信号。有师学习算法的例子包括Delta规则、广义Delta规 则或反向传播算法以及LVQ算法等。
8

具有较强的学习能力。


是大规模自组织、自适应的非线性动力系统。

物理符号系统和人工神经网络系统的差别 项目 处理方式 执行方式 动作 存储 物理符号系统 逻辑运算 串行 离散 局部集中 人工神经网络 模拟运算 并行 连续 全局分布