5.1 竞争学习的概念与原理
5.1.1 基本概念
1．模式、分类、聚类与相似性
模式：是对某些感兴趣的客体的定量描述或结构描
述，模式类是具有某些共同特征的模式的集合。
分类（有导师指导） ：是在类别知识等导师信号的
指导下，将待识别的输入模式分配到各自的模式类 中去。
聚类（无导师指导）：将相似的模式样本划归一类，
(2)余弦法 计算两个模式向量夹角的余弦，两个模式向量越接近，其夹 角越小，余弦越大。对模式向量间的夹角作出规定，就为一 种聚类判据。适合模式特征只与向量方向相关的相似性测量。
n维空间欧式距离公式
d=sqrt( ∑(xi1-xi2)2 )
i=1,2...n
xi1表示第一个点的第i维坐标,
xi2表示第二个点的第i维坐标。
4．向量归一化 向量归一化的目的是将向量变成方向不变长度为1 的单位向量。比较时，只需比较向量的夹角。归一 化后的向量用 ^标记。
4.1.2 竞争学习原理 1.竞争学习规则 典型竞争学习规则称为胜者为王。算法分3个步骤。
(1)向量归一化 对输入模式向量X和竞争层中各神经元对应的内 星权向量wj进行归一化处理。 (2)寻找获胜神经元 X输入给网络时，竞争层的所有神经元对应的内 星权向量Wj均与X进行相似性比较, 将与X最相似的 内星权向量判为竞争获胜神经元，其权向量记为Wj*。 测量相似性的方法是对Wj和X计算欧式距离(或夹角 余弦)
训练前先对竞争层权向量随机初始化。初始状态，单位圆上 的“*”是随机分布的。前已证明，两个向量的点积越大，两 者越近似，因此以点积最大获胜的神经元对应的权向量应最接 近当前输入模式。从图，如果当前输入模式用“o”表示，单位 圆上各“*”点代表的权向量依次同“o”点代表的输入向量比 较
距离，结果是离得最近的那个*获胜。
调整后，获胜*点的位置进一步移向o点及其所在 的簇。显然，当下次出现与o点相像的同簇内的输 入模式时，上次获胜的*点更容易获胜。
依此方式经过充分训练后，单位圆上的4个*点会 逐渐移入各输入模式的簇中心，从而使竞争层每个 神经元的权向量成为一类输入模式的聚类中心。当 向网络输入一个模式时，竞争层中哪个神经元获胜 使输出为1，当前输入模式就归为哪类。
3．侧抑制与竞争
在人的视网膜中，存在着一种“侧抑制” 现象，即一个神经细胞兴奋后，通过它的分 支会对周围其他神经细胞产生抑制。这种侧 抑制使神经细胞之间出现竞争，虽然开始阶 段各个神经细胞都处于程度不同的兴奋状态， 由于侧抑制的作用，各细胞之间相互竞争的 最终结果是：兴奋作用最强的神经细胞所产 生的抑制作用战胜了它周围所有其他细胞的 抑制作用而“赢”了，其周围的其他神经细 胞则全“输”了。（胜者为王）
而将不相似的分离开，其结果实现了模式样本的类 内相似性和类间分离性。对一组输入模式，只能根 据它们之间的相似程度分为若干类，因此相似性是 输入模式的聚类依据。
2．相似性测量
欧式距离法和余弦法。 (1)欧式距离法
欧式距离，即两个模式向量的欧式距离越小，两个向量越接 近，因此认为这两个模式越相似，当两个模式完全相同时其 欧式距离为零。对各个模式向量间的欧式距离作出规定，则 最大欧式距离T就成为一种聚类判据。同类模式向量的距离 小于T，异类模式向量的距离大于T。
权向量经调整后不再是单位向量，因此需要对调整后 的向量重新归一化。步骤(3)完成后回到步骤(1)继续训 练，直到学习率α衰减到0或规定的值。
2．竞争学习原理
设输入模式为二维向量，归一化后 其矢端可以看成分布在单位圆上的点， 用“o”表示。竞争层4个神经元对应的 4个内星权向量归一化后在单位圆上用 *表示。输入模式点分布大体上聚集为 4簇，可分4类。而训练样本中无分类 指导信息，网络如何自动发现样本空 间的类别划分?
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
自组织神经网络的无导师学习方式类似于大脑中 生物神经网络的学习，其最重要的特点是通过自动 寻找样本中的内在规律和本质属性，自组织、自适 应地改变网络参数与结构。
自组织网络结构上属于层次型网络，有多种类型， 其共同特点是都具有竞争层。输入层负责接受外界 信息并将输入模式向竞争层传递，起“观察”作用， 竞争层负责对该模式进行“分析比较”，找出规律 以正确归类。
=0.65
W32=0.1+0.5(0.2-0.1)
=0.15
4.2 自组织特征映射神经网络(SOFM)
1981年Kohonen提出，又称Kohonen网。他认为， 一个神经网络接受外界输入模式时，将会分为不同的 对应区域，各区域对输入模式具有不同的响应特征， 且该过程自动完成。特点与人脑的自组织特性相类似。
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
算法规定，获胜神经元输出为1，其余输出为0。
即只有获胜神经元才有权调整其权向量wj，调整后权向 量为
α∈(0，1]为学习率，其值随着学习的进展而减小。可 以看出，当j≠j*时，权值得不到调整，实质是“胜者” 对它们进行了强侧抑制，不允许兴奋。
竞争学习算法示例
0
0
1
0
1
2
j
4
0.3 0.6
0.2
0.7

0.7 0.1
0.3
0.6
0.6
0.2
j
WX
1 0.36+0.06=0.42
2 0.12+0.14=0.26
3 0.42+0.02=0.44
4 0.18+0.12=0.30
第3个神经元获胜
设a=0.5
w31=0.7+0.5(0.6-0.7)
4.2.1 SOFM生物学基础
生物视网膜中有许多特定的细胞对特定的图形比较 敏感，当视网膜中有若干个接收单元同时受特定模式 刺激时，就使大脑皮层中的特定神经元开始兴奋，输 入模式接近，对应的兴奋神经元也相近。大脑皮层中 神经元的这种响应特点是通过后天的学习自组织形成 的。
4.2.2 SOFM网的拓扑结构与权值调整域
1．拓扑结构
SOFM网共有两层，输入层各神经元通过权向量将外界信息 汇集到输出层的各神经元。输入层形式与BP相同，神经元数 与样本维数相等。输出层也是竞争层，神经元的排列有多种形 式，如一维线阵、二维平面阵和三维栅格阵，常见的是前两种 类型。