于是
θj=w0jx0
y j

sgn n i0
wi
j
xi

式中，w0j=θj，x0=1。
第3章 神经网络模型
(3) 在需要考虑突触的延长作用时，神经元的作用函数 应修正为
y j t 1 sgn n wij xi t
i0

t+1时刻的神经元冲动取决于t时刻的输入。 人工神经元输出、输入之间的关系表达式决定了人工
为了说明Hebb学习法则的应用，现以线性联想网络为 例说明其训练过程。设学习率η=1，连接强度矩阵初始化为 0，用m个输入代入加权值调整公式后，得加权值调整矩阵 的表达式：
m
w yK .xKT
k 1
第3章 神经网络模型
若xk为标准正交矢量，则当网络的输入为xj时，网络的 输出为
m
的作用函数可记为
y j

sgn
n i1
wij xi
θj

第3章 神经网络模型
式中，θj是第j个神经元的动作阈值，sgn是符号函数：

1
y
j

sgn


1

n
wij xi θ j
i1 n
wi j xi θ j
i 1
当神经元的动作电位Nj超越阈值θj时，神经元输出+1， 处于兴奋状态；当Nj没超越阈值θj时，神经元输出－1，处于 抑制状态。MP作用函数如图3-2所示。
第3章 神经网络模型
设网络中的第i个神经元对第j个神经元的连接如图3-3所
示，传递信号时的权值为wij
wij，两
个相互连接神经元的激活水平可以表示成ηyjxi，其中的η称
为激活率(又称为学习率)，激活率的大小将直接影响激活水
平的高低。
Hebb学习法表示成
Δwij=yjxi t时刻和t+1时刻的权值分别为wij(t)和wij(t+1)，有
人工神经元模型依靠突触输入xi和突触强度wij之间的运 算关系建立。MP模型采用的是线性加权求和，神经元在n个 突触进行活动时产生的动作电位为
n
N j wi j xi
i 1
把突触强度wij模拟成突触输入xi的加权值，当突触强度越强 时，该突触的输入对第j个神经元的动作电位影响越大。
神经元的冲动是神经元的输出，用yj表示。如果用“+1” 和“－1”分别表示神经元的兴奋和抑制状态，那么MP模型
wij(t+1)=wij(t)+Δwij=wij(t)+ηyjxi
第3章 神经网络模型 图3-3 两个神经元
第3章 神经网络模型
上式说明权值的调整与第j个神经元的输入输出乘积成正比。 在批量出现的输入模式样本中，频率较高的输入样本将对加 权值的调整产生较大影响。
Hebb学习法有以下四个特征： (1) 连接强度的变化与相邻两个神经元的输出乘积成正 比，只要知道相连接神经元的输出，就能获得连接强度的变 化。 (2) 学习过程仅体现在信号前馈传送过程中，无反馈现 象存在。 (3) 是一种无导师学习，无须知道目标输出是什么。
图3-1画出了MP模型的结构示意图。该图以第j个神经 元为例，有n个神经元的输出信号x1，x2，…，xn作为输入。 每个输入突触的突触强度分别为w1j，w2j，…，wnj，突触强 度wij反映了第i个神经元对第j个神经元传递信号时的加权值。
第3章 神经网络模型 图3-1 MP模型结构示意图
第3章 神经网络模型
wij(t+1)=wij(t)+η(yj(t)－yj(t－1))(xi(t)－xi(t－1)) wij(t+1)与前两个相邻时刻的神经元输出增量成正比。
第3章 神经网络模型
连接强度与每一时刻的输出或输出增量有关，反映了此 时采用的神经网络结构为非线性结构。如果输出量与时间无 关，这时的神经元就是线性神经元。但是线性神经元及由此 构成的线性神经网络存在表达能力有限的问题，不能真实模 拟生物神经网络的信息处理特征。
QK wx j yk xkT x j
k 1
考虑到xkT·xk=1，则
Qk


yk 0
jk jk
表明神经元的输出就是网络的输出，对应每一个输入，Hebb 学习法则将给出正确的输出结果。
第3章 神经网络模型
(4) 如果相连接两个神经元的输出正负始终一致，将使 连接强度无约束地增长，为了防止这一状况出现，需要预先 设置连接强度饱和值。
Hebb学习法则除了使用神经元在某一时刻输出信号乘 积表示连接强度的变化外，还可以改进成使用差分形式。设 t－1时刻两神经元的输出为xi(t－1)和yj(t－1)；t时刻两神经 元的输出为xi(t)和yj(t)，则t+1时刻连接强度权值为：
3.1 人工神经网络建模
3.1.1 MP模型 MP模型是1943年由McCulloch和Pitts首先提出来的。它
是一种较为典型的模型，突出了神经元的兴奋和抑制功能， 设定了一个动作电位的阈值，把神经元是否产生神经冲动转 化为突触强度来描述。所谓“突触强度”就是指突触在活动 时所能产生神经冲动的强弱。
第3章 神经网络模型 图3-2 MP作用函数
第3章 神经网络模型
人工神经元模型有如下3个性质：
Байду номын сангаас
(1) i≠j，由于第j个神经元不可能自己对自身进行输入，
因此第i个输入中不能包括第j个神经元。
(2) 阈值θj可以看作是一个输入信号的权值，该输入信 号和权值分别用x0和w0j表示，且x0=1，则有：
第3章 神经网络模型
第3章 神经网络模型
3.1 人工神经网络建模 3.2 感知器 3.3 BP网络与BP算法 3.4 自适应线性神经网络 3.5 自组织竞争型神经网络 3.6 小脑模型神经网络 3.7 递归型神经网络 3.8 霍普菲尔德(Hopfield)神经网络 3.9 小结 习题与思考题
第3章 神经网络模型
神经元具有PID调节功能。
第3章 神经网络模型
3.1.2 Hebb学习法则 1949年，D.O.Hebb首先提出了神经网络的学习算法，
史称Hebb学习法则。该法则的文字叙述是“神经元连接强 度的变化与两个相互连接神经元的激活水平成正比”。这一 学习法则源自于一个物理现象，就是当两个神经元都处在激 活状态时，两个神经元之间的连接突触将增强。人们在生物 能够形成“习惯”以及多次训练能够形成条件反射的观察中， 看到了这一现象并把它归纳与总结。