第1部分 网络结构
3.1 神经网络概述 3.2 前向神经网络 3.3 动态神经网络 3.4 径向基函数神经网络
1
3.3 动态神经网络
3.3.1 基本概念 3.3.2 离散型Hopfield神经网络
3.3.2.1 网络的结构与工作方式 3.3.2.2 DHNN网络的稳定状态与能量井 3.3.2.3 DHNN网络的稳定性 3.3.2.4 DHNN网络的应用——联想记忆
T


反馈网络的外部输入就是网络的状态初始值，表 示为： ������(0) = ������1 0 , ������2 0 , … , ������������ 0 T 反馈网络在外界输入激发下，从初始状态进入动 态演变过程，变化规律为： ������������ (������ + 1) = ������ ������������������������ (������ + 1) , ������ = 1,2, ⋯ , ������
第2步，更新������1 、而������2 和������3 的输出状态保持不变，有： ������������ 2 = ������������ 1 , ������ = 2,3， 即：������ 2 = 1, 0, 0 T 。
17
第3步，更新������3 、而������1 和������2 的输出状态保持不变，有： ������3 (3) = ������[0.2 ∙ 1 + 0.6 ∙ 0 − 0] = ������(0.2) = 1； ������������ 3 = ������������ 2 , ������ = 1,2，
7
注：也有文献将反馈网络中接受输出反馈信号的所有神经元都称为输入神经 元，其中的输入包括外部输入和内部反馈输入两部分；输出神经元类似。
例10：含有4个单元的基本Hopfield网络。
对应于输入模 式的外部输入 不同于由网络 输出反馈至各 神经元的输入， 前者提供了网 络的初始状态， 后者是构成动 力系统的必要 条件。
状态变为100；
14
若������2 被随机选中，而������1 、������3 状态保持不变，则有 ������2 (1) = ������[(−0.5) ∙ 0 + 0.6 ∙ 0 − 0] = ������(0) = 0，状态 仍为000； 若������3 被随机选中，而������1 、������2 状态保持不变，则有 ������3 (1) = ������[0.2 ∙ 0 + 0.6 ∙ 0 − 0] = ������(0) = 0 ， 状 态 仍 为000。 因输出状态可能改变的单个神经元是等概率被选中 1 的，故状态变为100的概率为 ，而保持不变的概率

外部输入单元和输出单元的确定
a) b) c) d)
假定网络共有ℎ个神经元，输入向量的维数为������， 输出向量的维数为������。 若指定网络中的������个神经元直接接受对应于输入 向量的信号，则称这������个神经元为输入神经元。 若指定网络中的������个神经元用于输出计算结果 时，就称这������个神经元为输出神经元。 当������ = ������ = ℎ时，网络退化为最简单的形式， 称为基本的Hopfield网络。
全互联型，三种画法等价；若含一条(以上)红色虚线，则为含自环的全互联型。

典型反馈网络：Hopfield网络、Boltzmann机 网络、Kohonen网络。
5


Hopfield网络
1982 年 ， 美 国 加 州 理 工 学 院 物 理 学 家 J.J. Hopfield教授提出一种离散型的单层全互联反馈 神经网络，可用作联想存储器——Hopfield网络。 1984年，Hopfield又提出连续型的单层全互联 反馈网络，可用作优化计算。 1987年，贝尔实验室基于Hopfield网络成功开 发了神经网络芯片。 根据激励函数的不同，可分为
������1 ������1
������2 ������2
������3 ������3
������4 ������4
根据实际情况，反馈网络的输入模式(外部输入)可以 始终加在网络上；也可以是仅起初始化状态的作用， 即认为初始化后即撤除外部输入。 为分析简单起见，本课程中的分析假定基于后者。
8
3.3.2 离散型Hopfield神经网络
2 为 。 3 3
第2步： 以第1步所得到的状态100为新的初始态，进行类似 计算，可以得到整个状态转移图。
15
w13 y1 w w21 w
12 22
w 1N y2 w 33 w w ... y 1/3 1/3 0.0 010 1/3 0.0 110 1/3 1/3 000 1/3 100 2/3 1/3 1/3 2/3 101 -0.3 1/3 2/3 -0.4 111 (b) 网络状态转移 圈内为状态 线上为转移概率 1/3 011 -0.6 3/3
������2
0 0.6
0
������3
解：
设各节点状态取值为1或0，三节点DHNN网络应 有23 = 8种状态。选择随机异步更新方式。 第1步： 若������1 被随机选中，而������2 、������3 状态保持不变，则有
������1 (1) = ������[(−0.5) ∙ 0 + 0.2 ∙ 0 − (−0.1)] = ������(0.1) = 1，
例11：设有3节点DHNN网，权值与阈值均 已标在图中，初始状态为 ������(0) = ������1 (0), ������2 (0), ������3 (0)
（本例规定������ 0 = 0）
13
T
= 0,0,0 T 。
试用异步工作方式计算网络演变过程的状态。
������1
−0.1 -0.5 0.2
19
3.3.2.2 DHNN网络的稳定状态与能量井

稳定状态 DHNN网是一个离散的非线性动力学系统，网络 从初态������(0)开始，若能经有限次递归后，其状态 不再发生变化，即������ ������ + ∆������ ＝������ ������ , ∀∆������ > 0，则 称该网络是稳定的。此时的状态������ ������ 称为稳定状 态(稳定点)或吸引子。
即：������ 3 = 1, 0, 1 T 。
(2) 假定按������3 → ������2 → ������1 的顺序异步更新输出状态
第1步，更新������3 、而������1 和������2 的输出状态保持不变，有： ������3 1 = ������ 0.2 ∙ 0 + 0.6 ∙ 0 − 0 = ������ 0 = 0 ������������ 1 = ������������ 0 , ������ = 1,2， 即：������ 1 = 0, 0, 0 T 。
(并行模式)

网络的同步工作方式

网络的同步工作方式是一种并行方式，每次有多 个神经元的输出状态发生变化，其余的神经元的 状态保持不变，变化的神经元可以随机地选取， 也可以按照一定的顺序进行。
12

如果所有神经元的输出状态同时发生变化，则称 为全并行工作方式。
注： 已知网络的权值和阈值，基于相应的工作模式， 即可得到网络的状态转移关系。
3.3.3 连续型Hopfield神经网络
2
3.3 动态神经网络
3.3.1 基本概念

神经网络的分类 (按信息流向) 前馈式和反馈式。

前馈网络：主要研究网络的输出与输入间的映射 关系；输出由当前输入和权矩阵决定，与网络先 前的输出状态无关；设计与分析简单。
反馈网络：主要研究动力系统的稳定特性；网络 中至少存在一条反馈回路；设计与分析复杂。
3.3.2.1 网络的结构与工作方式
������1 ������2
…
������������
…
������������
������1
…
������2
������������
…
������������
9

网络的状态

DHNN网中的每个神经元都有相同的功能，其输 出称为状态，用������������ 表示。 所有神经元状态的集合就构成反馈网络的状态： ������ = ������1 , ������2 , … , ������������
16
0.4 001 0.0
w 11
y3
NN
N
计算过程表 明，利用随 机异步更新 1 2 3 N 输出状态的 工作方式， 研究起来比 —1—20 二值型Hopfield网络结构 较复杂，因 V 1 0.1 此通常更多 地使用输出 -0.5 0.2 状态的同步 更新方式。
2
1/3 2/3
1/3
-0.1
1/3
������2 (1) = ������[(−0.5) ∙ 0 + 0.6 ∙ 0 − 0] = ������(0) = 0 ；
即：������ 1 = 0, 0, 0 T 。
������1 (2) = ������[(−0.5) ∙ 0 + 0.2 ∙ 0 − (−0.1)] = ������(0.1) = 1
V
0.0 0.6
0.0
V
3
(a) 已知网络权值初值 圈内为阀值
若选用指定顺序的异步工作方式，则状态转移不具有 随机性。如： (1) 假定按������2 → ������1 → ������3 的顺序异步更新输出状态
第1步，更新������2 、而������1 和������3 的输出状态保持不变，有： ������������ 1 = ������������ 0 , ������ = 1,3，