竞争学习规则——Winner-Take-All
网络的输出神经元之间相互竞争以求被 激活或点火，结果在每一时刻只有一个输 出神经元被激活或点火。这个被激活的神 经元称为竞争获胜神经元，而其它神经元 的状态被抑制，故称为Winner Take All。
6
*
竞争学习规则——Winner-Take-All
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -7517
*
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
* Wˆ 1
┆
* Wˆ j*
W (t) (t)[ Xˆp (t) Wˆ j* (t)]
*
Wˆ j* (t 1)
Xˆ p(t)
Wˆ j
Wˆ m
*
…
*
14
*
例4.1 用竞争学习算法将下列各模式分为2类：
X1
0.8 0.6
X2
00.1.9783468
X3
0.707 0.707
X
4
00..3943297
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -7516
*
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
w1
7 8
24 -130 34 -130
15
*
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
w1
9 10
34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
» 聚类——无导师指导的分类称为聚类，聚 类的目的是将相似的模式样本划归一类， 而将不相似的分离开。
3
*
1.1 基本概念
X Xi (X Xi )T (X Xi )
类1
类2
• •
•
• •
• T
•• ••
•
(a)基于欧式距离的相似性测量
(b)基于余弦
同一类内各个模式向量间的欧式距离不
允许超过某一最大值Ｔ
1.向量归一化 首先将当前输入模式向量
X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m)
Xˆ
X X
x1
n
x
2 j
...
j1
T
xn
n
x
2 j
j1
7
*
原始向量
*
*
* *
8
*
归一化后的向量
* *
*
* *
9
*
竞争学习原理
竞争学习规则——Winner-Take-All
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
w1
13 14
43 43
-90 -81
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
2.寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相 似性比较，并将最相似的内星权向量判为竞争获胜神 经元。
10
*
竞争学习规则——Winner-Take-All
Xˆ Wˆ j*
min
j1, 2 ,..., m
Xˆ Wˆ j
Xˆ Wˆ j* (Xˆ Wˆ j* )T (Xˆ Wˆ j* )
4
*
*
类2 • •
•
相似性测量
1.1 基本概念
• 相似性测量＿余弦法
cos XT Xi
X Xi
类1
••
••
类2
•
••
T
••
•
(b)基于余弦法的相似性测量
同一类内 各个模式 向量间的 夹角不允 许超过某 一最大夹 角ψT
余弦法适合模式向量相同或模式特征
5
只与向量方向相关的相似性测量
1.2 竞争学习原理
1 j j*
o
j
(t
1)
0
j j*
Wj* (t 1) Wˆ j* (t) Wj* Wˆ j* (t) (Xˆ Wˆ j* )
Wj (t 1) Wˆ j (t) j=j*之外j的jj*
步骤3完成后回到步骤1继续训练，直到学习率 衰减到0。
12
*
竞争学习的几何意义
*
*
*
*
13
*
竞争学习的几何意义
18 43.5 -80.5
19 43.5 -7518
*
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 34 44
-130 -100 -100
11
X5
00..68
解：为作图方便，将上述模式转换成极坐标形式 ： X1 136.89o X2 1 80o X 3 144.5 X4 1 70o X5 153.13o
竞争层设两个权向量，随机初始化为单位向量： 上式中，X1=（x,y）T
W1 (0) 10 10o W2 (0) 01 1180o
自组织神经网络的典型结构
1
*
自组织学习(self-organized learning) ： 通过自动寻找样本中的内在规律和本
质属性，自组织、自适应地改变网络参数 与结构。
自组织网络的自组织功能是通过竞争 学习（competitive learning）实现的。
2
*
» 1.1 基本概念
» 分类——分类是在类别知识等导师信号的 指导下，将待识别的输入模式分配到各自 的模式类中去。
Xˆ T
Xˆ
2Wˆ
T j*
Xˆ
Wˆ
T j*
Wˆ
T j*
2(1
WT j*
Xˆ )
从上式可以看出，欲使两单位向量的欧式距离 最小，须使两向量的点积最大。即：
Wˆ j*T Xˆ
max (
j{1, 2 ,..., m}
Wˆ j
T
Xˆ )
11
*
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -7519
*
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180