19
智能优化计算
华东理工大学信息科学与工程学院 2012年
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
能量函数
能量是有界的：
1 1 | E | | w ji || si || s j | | si || i | | wij | | i | 2 i j 2 ij i i
N
s2(t)
s2(t+1)
…
sn(t)
wn1
…
Σ
vn(t)
sn(t+1)
Δ
N为网络节点总数。
16
智能优化计算
华东理工大学信息科学与工程学院 2012年
N v j (t ) w ji si (t ) j i 1 s j (t 1) sgn[v j (t )], 1, v j (t ) 0 即s j (t 1) 1, v j (t ) 0
从任一初始状态开始，若在每次迭代时都满足 ΔE≤0，则网络的能量将越来越小，最后趋向于稳 定状态ΔE＝0 。
20
智能优化计算
华东理工大学信息科学与工程学院 2012年
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
能量函数
分析异步（且网络对称wij=wji）情况下： 假设只有神经元i改变状态
wij s j i si wii si [ si (t 1) si (t )] 0 j
同号ห้องสมุดไป่ตู้
22
智能优化计算
华东理工大学信息科学与工程学院 2012年
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
能量函数
分析同步（且网络对称wij=wji）情况下：
目的
确定权值
方法
线性组合
l层
激活函数
线性组合
l＋1层
激活函数
l vk1
反向推导
yil 1

l 1 l 1 ji i
v lj
yil f (v lj )
y

l ki
y
l j
l y O f (vk1 )
ji lj y lj1
f ' (v lj )
kj kl 1 y lj
18
智能优化计算
华东理工大学信息科学与工程学院 2012年
N v j (t ) w ji si (t ) j i 1 s j (t 1) sgn[v j (t )], 1, v j (t ) 0 即s j (t 1) 1, v j (t ) 0
一般结构
各神经元之间存在相互联系
分类
连续系统：激活函数为连续函数 离散系统：激活函数为阶跃函数
14
智能优化计算
华东理工大学信息科学与工程学院 2012年
5.3 反馈型神经网络
Hopfield神经网络
1982年提出Hopfield反馈神经网络（HNN），证明 在高强度连接下的神经网络依靠集体协同作用能自 发产生计算行为。 是典型的全连接网络，通过引入能量函数，使网络 的平衡态与能量函数极小值解相对应。
wn
McCulloch-Pitts输出 函数定义为：
y f ( z ) sgn( wi xi )
i 1
n
1, x 0 其中， x) sgn( 0, x 0
5
智能优化计算
华东理工大学信息科学与工程学院 2012年
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
华东理工大学信息科学与工程学院 2012年
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
工作方式
串行（异步，asynchronous）:任一时刻只有一个 单元改变状态，其余单元保持不变； 并行（同步，synchronous）：某一时刻所有神经 元同时改变状态。
稳定状态
如果从t=0的任一初始态s(0)开始变化，存在某一有 限时刻t，从此以后网络状态不再变化，即 s(t+1)=s(t)，则称网络达到稳定状态。
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
能量函数的定义
异步方式：
1 1 T E w ji si (t ) s j (t ) si (t )i s (t )ws(t ) sT (t )θ 2 i j 2 i
同步方式：
1 1 E w ji si (t 1) s j (t ) i [ si (t ) si (t 1)] 2 i j 2 i 1 T 1 T s (t 1)ws(t ) θ [s(t 1) s(t )] 2 2
0, si (t ) si (t 1) si (t ) 2, 2, si (t 1) si (t ) si (t 1) 1, si (t ) 1 si (t 1) 1, si (t ) 1
同号
21
智能优化计算
N 华东理工大学信息科学与工程学院 2012年
1 1 w ji si (t ) s j (t ) si (t )i sT (t )ws(t ) sT (t )θ 2 i j 2 i
分析异步（且网络对称wij=wji）情况下： 假设只有神经元i改变状态
1 N 1 N E wij s j si w ji s j si i si 2 j 1 2 j 1 1 1 wij s j si w ji s j si wii [ si2 (t 1) si2 (t )] i si 2 j i 2 j i
网络的构建
x1
Y=F(X)
y1
x2
y2
… xn
…
…
… ym
输入层
隐藏层
输出层
6
智能优化计算
华东理工大学信息科学与工程学院 2012年
5.1 人工神经网络的基本概念
5.1.3 网络结构的确定
网络的拓扑结构
前向型、反馈型等
神经元激活函数
阶跃函数 线性函数
f ( x) ax b
f(x)
15
智能优化计算
华东理工大学信息科学与工程学院 2012年
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
输入 输出
v1(t)
网络结构
Σ s1(t) w12 w21 Σ w2n wn2
s1(t+1)
w1n
v2(t)
v j (t ) w ji si (t ) j i 1 s j (t 1) sgn[v j (t )], 1, v j (t ) 0 即s j (t 1) 1, v j (t ) 0
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
能量函数
E
v j (t ) w ji si (t ) j i 1 s j (t 1) sgn[v j (t )], 1, v j (t ) 0 即s j (t 1) 1, v j (t ) 0
3
智能优化计算
华东理工大学信息科学与工程学院 2012年
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
重要意义
现代的神经网络开始于McCulloch, Pitts(1943)的先 驱工作； 他们的神经元模型假定遵循有-无模型律； 如果如此简单的神经元数目足够多和适当设置连接 权值并且同步操作, McCulloch & Pitts证明这样构 成的网络原则上可以计算任何可计算函数； 标志着神经网络和人工智能的诞生。
5.1.1 发展历史
“神经网络”与“人工神经网络”
1943年，Warren McCulloch和Walter Pitts建立了
第一个人工神经网络模型；
1969年，Minsky和Papert发表Perceptrons； 20世纪80年代，Hopfield将人工神经网络成功应用
在组合优化问题。
+1
Sigmoid函数
f ( x)
1 1 ex
0
x
7
智能优化计算
华东理工大学信息科学与工程学院 2012年
5.1 人工神经网络的基本概念
5.1.4 关联权值的确定
确定的内容
权值wi和θ
确定的方式
学习（训练） 有指导的学习：已知一组正确的输入输出结果的条 件下，神经网络依据这些数据，调整并确定权值； 无指导的学习：只有输入数据，没有正确的输出结 果情况下，确定权值。
5.1 人工神经网络的基本概念
5.1.1 5.1.2 5.1.3 5.1.4 5.1.5 发展历史 McCulloch-Pitts神经元 网络结构的确定 关联权值的确定 工作阶段
► 5.2 多层前向神经网络
5.2.1 一般结构 5.2.2 反向传播算法
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用
y lj
j

lj f ' (v) k k

f ' ( vk )
O

k
l 1 k
[(d k Ok ) f ' (vk )]
反向传播
d O
d
前向计算
12
智能优化计算
华东理工大学信息科学与工程学院 2012年