22
x
5
训 练 次 数
W1
W2
x3 x w2
1
w1
x
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
18.43° -180° -30.8° -180° 7° -180° -32° -180° 11° -180° 24° -180° 24° -130° 34° -130° 34° -100° 44° -100° 40.5° -100° 40.5° -90° 43° -90° 43° -81° 47.5° -81° 42° -81° 42° -80.5° 43.5° -80.5° 43.5° -75° 48.5° -75°
... x2 j
j =1
xn n x2 ∑1 j j=
T
13
向量归一化之前
*
*
* *
14
向量归一化之后
* *
*
*
15
竞争学习原理
竞争学习规则——Winner-Take-All 竞争学习规则 2.寻找获胜神经元 2.寻找获胜神经元 当网络得到一个输入模式向 量时， 量时，竞争层的所有神经元对应的内星权向量均 与其进行相似性比较， 与其进行相似性比较，并将最相似的内星权向量 判为竞争获胜神经元。 判为竞争获胜神经元。 欲使两单位向量最相似，须使其点积最大。 欲使两单位向量最相似，须使其点积最大。即：
23
x
5
训 练 次 数
W1
W2
x3 x w2 w1 x
2 1
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
18.43° -180° -30.8° -180° 7° -180° -32° -180° 11° -180° 24° -180° 24° -130° 34° -130° 34° -100° 44° -100° 40.5° -100° 40.5° -90° 43° -90° 43° -81° 47.5° -81° 42° -81° 42° -80.5° 43.5° -80.5° 43.5° -75° 48.5° -75°
4
在学习算法上，它模拟生物神经元之间的兴奋、 在学习算法上，它模拟生物神经元之间的兴奋、 协调与抑制、 协调与抑制、竞争作用的信息处理的动力学原理 来指导网络的学习与工作， 来指导网络的学习与工作，而不像大多数神经网 络那样是以网络的误差或能量函数作为算法的准 则。 竞争型神经网络构成的基本思想是网络的竞争层 各神经元竞争对输入模式响应的机会，最后仅有 各神经元竞争对输入模式响应的机会， 一个神经元成为竞争的胜者。 一个神经元成为竞争的胜者。这一获胜神经元则 表示对输入模式的分类。 表示对输入模式的分类。
2
§4.1 前言
在生物神经系统中，存在着一种侧抑制现象， 在生物神经系统中，存在着一种侧抑制现象，即 一个神经细胞兴奋以后， 一个神经细胞兴奋以后，会对周围其他神经细胞 产生抑制作用。 产生抑制作用。这种抑制作用会使神经细胞之间 出现竞争，其结果是某些获胜，而另一些则失败。 出现竞争，其结果是某些获胜，而另一些则失败。 表现形式是获胜神经细胞兴奋， 表现形式是获胜神经细胞兴奋，失败神经细胞抑 制。 自组织竞争型神经网络就是模拟上述生物神经系 统功能的人工神经网络。 统功能的人工神经网络。
6
常用的自组织网络 自组织特征映射(Self-Organizing Feature 自组织特征映射 Map)网络 网络 对偶传播(Counter propagation)网络 对偶传播 网络
返回
7
§4.2 竞争学习的概念与原理
竞争层 输入层
自组织神经网络的典型结构
8
§4.2 竞争学习的概念与原理
Take All。
12
1.向量归一化 1.向量归一化 首先将当前输入模式向量 和竞争层中各神经元对应的内星向量W X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m) 全部进行归一化处理； (j=1,2, ,m)
X ˆ X= = X
x1
∑
n
3
自组织竞争型神经网络是一种无教师监督学习， 自组织竞争型神经网络是一种无教师监督学习， 具有自组织功能的神经网络。 具有自组织功能的神经网络。网络通过自身的训 能自动对输入模式进行分类。 练，能自动对输入模式进行分类。这一点与 Hopfield网络的模拟人类功能十分相似，自组织 网络的模拟人类功能十分相似， 网络的模拟人类功能十分相似 竞争型神经网络的结构及其学习规则与其他神经 网络相比有自己的特点。 网络相比有自己的特点。 在网络结构上， 在网络结构上，它一般是由输入层和竞争层构成 的两层网络。两层之间各神经元实现双向连接， 的两层网络。两层之间各神经元实现双向连接， 而且网络没有隐含层。 而且网络没有隐含层。有时竞争层各神经元之间 还存在横向连接。 还存在横向连接。
ˆ ˆ ˆ ˆ ˆ ˆ X T X − 2 W T* X + W T* W j j
T j*
=
2 (1 − W
T j*
ˆ X)
从上式可以看出，欲使两单位向量的欧式距离最小， 从上式可以看出，欲使两单位向量的欧式距离最小，须使两向 量的点积最大。 量的点积最大。即：
ˆ Tˆ ˆ Tˆ W j * X = max ( W j X )
21
x
5
训 练 次 数
W1
W2
x3 x w2
1
w1
x
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
18.43° -180° -30.8° -180° 7° -180° -32° -180° 11° -180° 24° -180° 24° -130° 34° -130° 34° -100° 44° -100° 40.5° -100° 40.5° -90° 43° -90° 43° -81° 47.5° -81° 42° -81° 42° -80.5° 43.5° -80.5° 43.5° -75° 48.5° -75°
竞争学习的概念 分类——分类是在类别知识等导师信号的指 分类是在类别知识等导师信号的指 分类 导下， 导下，将待识别的输入模式分配到各自的模 式类中去。 式类中去。 聚类——无导师指导的分类称为聚类，聚类 无导师指导的分类称为聚类， 聚类 无导师指导的分类称为聚类 的目的是将相似的模式样本划归一类， 的目的是将相似的模式样本划归一类，而将 不相似的分离开。
ˆ * T X = max ( W T X) ˆ ˆ Wj ˆ j
j∈{1, 2 ,..., m}
16
竞争学习规则——Winner-Take-All 竞争学习规则
ˆ ˆ X − W
j*
=
j ∈ { , 2 ,..., m 1
min
}
ˆ {X
ˆ − W
j
}
ˆ ˆ X − W j* =
=
ˆ ˆ ˆ ˆ ( X − W j* ) T ( X − W j * )
1
解：为作图方便，将上述模式转换成极坐标形式 ： 为作图方便，
X1 =1∠36.89o X2 = 1∠ − 80o X 3 = 1∠44.5 X4 = 1∠ − 70o X5 = 1∠53.13o
竞争层设两个权向量，随机初始化为单位向量： 竞争层设两个权向量，随机初始化为单位向量：
− 1 1 o W1 (0) = = 1∠0 W2 (0) = = 1∠180o 0 0
*
(t )]
**ˆLeabharlann W j * (t + 1)
ˆ p (t ) X ˆ Wj ˆ Wm
*
…
*
20
用竞争学习算法将下列各模式分为2 例4.1 用竞争学习算法将下列各模式分为2类：
0.8 2 0.1736 3 0.707 4 0.342 5 0.6 X = X = 0.6 − 0.9848 X = 0.707 X = − 0.9397 X = 0.8
cos
ψ
• •
=
• • ΨT
X X
类 1
T
X X
i i
类 2 • • • • •
•
(b )基 于 余 弦 法 的 相 似 性 测 量
11
§4.2 竞争学习的概念与原理 竞争学习原理
竞争学习规则——Winner-Take-All Winner-Take竞争学习规则 Winner 网络的输出神经元之间相互竞争以求被激活， 网络的输出神经元之间相互竞争以求被激活， 结果在每一时刻只有一个输出神经元被激活。 结果在每一时刻只有一个输出神经元被激活。 这个被激活的神经元称为竞争获胜神经元， 这个被激活的神经元称为竞争获胜神经元，而 其它神经元的状态被抑制， 其它神经元的状态被抑制，故称为Winner
10
(b
• 相似性测量＿余弦法 相似性测量＿
两个模式向量越接近， 两个模式向量越接近，其夹角越 余弦越大。 小，余弦越大。当两个模式向量 2 完全相同时，其余弦夹角为1 完全相同时，其余弦夹角为1。 如果对同一类内各个模式向量间 的夹角作出规定， 的夹角作出规定，不允许超过某 T 一最大夹角a 一最大夹角a，则最大夹角就成 为一种聚类判据。 为一种聚类判据。同类模式向量 的夹角小于a 的夹角小于a，两类模式向量的 夹角大于a 夹角大于a。余弦法适合模式向 量长度相同和模式特征只与向量 方向相关的相似性测量。 方向相关的相似性测量。
24
x
5
训 练 次 数
W1