(c) 初始权值围绕随机选取的样本分布
16
W 1 j* (t 1) W 1 j* (t ) (t )[X W 1 j* (t )]
5.1 LVQ网络
5.1.4 网络设计
（3）学习率(t)的设计
学习率(t)变化规律可参考SOFM网络的学习率的设计。网络的学习过程 可分为两个阶段。第一阶段为粗学习和粗调整阶段，该阶段时刻t的学习率(t) 可以取较大的值，这样有利于快速确定各输入模式在竞争层中所对应的映射位 置。一旦各输入模式有了相对的映射位置后，则转入精学习和细调整阶段。
5.1.5.1 LVQ网络在苹果等级判别中的应用包晓安,钟乐海,张娜.基于人工神
经网络的苹果等级判别方法研究.中国农业科学.2004,37（3）：464-468
2.步骤 (3)网络的改进
由于苹果的色泽、横径和果形指数对分类结果的影响依次递减，不能 按照同样的权重对待，故在输入层和竞争层中加入了一个修正层，对原 始数据进行了尺度变换，使苹果色泽的竞争能力分别提高到苹果横径的 2倍和果形指数的4倍。故修正层的权值矩阵为： 4 0 0 0 2 0 0 0 1
T
W1的权值由计算机随机产生1个4行20列的矩阵。W1 需要修正，直到 40 个训练样本全部正确划分，即网络迭代收敛为止。
22
5.1 LVQ网络
5.1.5 举例
5.1.5.1 LVQ网络在苹果等级判别中的应用包晓安,钟乐海,张娜.基于人工神
＠调整量后权向量为
j{ 1,2 ,..., m}
ˆ TX ˆ) max (W j
ˆ * (t ) W * W ˆ * (t ) ( X ˆ W ˆ *) W j* (t 1) W j j j j
ˆ (t ) W j (t 1) W j
4
“胜者为王”权值调整－－例子
当t<tm时，t=t+1，转到步骤(2)输入下一个样本，重复各步骤直到t=tm。
12
W 1 j* (t 1) W 1 j* (t ) (t )[X W 1 j* (t )]
5.1 LVQ网络
5.1.4 网络设计
关键因素：
＠ 学习样本是否具有代表性； ＠ 学习样本空间大小是否满足需要；
x
3
x1 w2 w1
x2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
5.1 学习向量量化(Learning Vector Quantization, LVQ)网络（LVQ） ＠向量量化
＠网络结构与工作原理
＠学习算法
＠设计
＠举例
6
5.1 LVQ网络
18
W 1 j* (t 1) W 1 j* (t ) (t )[X W 1 j* (t )]
5.1 LVQ网络
5.1.5 举例
5.1.5.1 LVQ网络在苹果等级判别中的应用包晓安,钟乐海,张娜.基于人工神
经网络的苹果等级判别方法研究.中国农业科学.2004,37（3）：464-468
1.问题描述 用计算机视觉模拟人类视觉系统，可以获取苹果等农产品的形状、颜色、大 小等信息，结合信息处理方法可以对其进行分级等判别。 2.步骤 (1)样本数据 原始数据：选取外形无损伤红富士苹果，在实验室内进行试验，光照强度 750～1 000lx。通过CCD摄像头采集苹果图像。 样本的处理：目的是从苹果图像中获取用于判断苹果的3个元素：苹果的色 泽、横径和果形指数。
„
○ ○y6
竞争层 Wm
○
x1
○输入层
„
xi
xn
图5. 2 学习向量量化网络
11
W 1 j* (t 1) W 1 j* (t ) (t )[X W 1 j* (t )]
5.1 LVQ网络
5.1.3 网络学习算法
＠ 学习步骤
1 (1)初始化 竞争层各神经元权值向量 W j (0)，j 1,2,...,m
目标类
W2
W

o1
o2
类别 2○
o3
类别 l○
2 1
W22 Wk2 Wl 2

类别 1○
输出层
1 1 0 2 W 0 0 0
0 0 0 0 1 0 1 0 0 1 0 1
子类
y1 W1
○ ○ ○ ○ ○
„
○ ○y6
竞争层 Wm
2
竞争学习规则（胜者为王）小结
＠将输入模式向量和内星权向量归一化 ˆ 最相似的 W ˆ 对应的神经元j 获胜 ＠ 将两者比较，与 X j
＠ 获胜神经元的输出为1，并获准调节其对应的权向量
1
j
ˆ W j
ˆ X
3
“胜者为王”权值调整规则
＠方法：只有获胜神经元才有权调整其权向量Wj*
＠获胜神经元
ˆ *T X ˆ W j
LVQ网络将竞争学习思想和有监督学习算法相结合。 5.1.1 向量量化
向量量化的思路是，将高维输入空间分成若干不同的区域，对每个 区域确定一个中心向量作为聚类中心，与其处于同一区域的输入向量可 用该中心向量来代表，从而形成以各中心向量为聚类中心的点集。
在图像处理领域，常用各区 域中心点(向量)的编码代替 区域内的点来存储或传输， 从而提出了各种基于向量量 化的有损压缩技术。
○
x1
○输入层
„
xi
xn
图5. 2 学习向量量化网络
9
5.1 LVQ网络
5.1.3 网络学习算法
＠ 学习规则由无导师学习和有 导师学习组合而成

o1
类别 1○
o2
类别 2○
o3
类别 l○
输出层
训练样本集中输入向量 与期望输出向量应成对 组成，即：{Xp,dp}，p= 1,2,…,P，P为训练集中 的模式总数。
第五章
组合学习神经网络
－－学习向量量化神经网络（LVQ） －－对向传播神经网络 （CPN）
1
简单回顾 ＠感知器－－－感知器规则－－－有导师学习
单层感知器－－－无法解决线性不可分问题
多层感知器－－－隐层权值调整规则不可知
＠BP网络－－－误差反传（BP）算法－－－－ 有导师学习 ＠自组织网络－－竞争学习－－－无导师学习
21
W 1 j* (t 1) W 1 j* (t ) (t )[X W 1 j* (t )]
5.1 LVQ网络
5.1.5 举例
5.1.5.1 LVQ网络在苹果等级判别中的应用包晓安,钟乐海,张娜.基于人工神
经网络的苹果等级判别方法研究.中国农业科学.2004,37（3）：464-468
无归一化
赋小随机数，确定初始学习速率 (0) 和训练次数tm； (2)输入样本向量X； 1 1 ， 2， ...m (3)寻找获胜神经元j* X W j* min X W j ， j 1
j
(4)根据分类是否正确按不同规则调整获胜神经元的权值：当网络分类结果与教师 信号一致，按式（a）向输入样本方向调整权值，否则按式（b）调整。
2.步骤 (4)网络的训练
4 0 0 0 2 0 0 0 1
1 0 2 W 0 0
1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1
图5.1 二维向量量化
7
5.1 LVQ网络
5.1.2 网络结构与运行原理 ＠ X＝(x1,x2,…,xn)T
o1
类别 1○
„
o2
„
ol 输出层
＠ Y＝(y1,y2,…,ym)T
类别 2○
类别 l○
yi∈{0,1}，i=1,2,…,m
＠ O＝(o1,o2,…,ol )T
T
y1 W1
○„ ○ ○ „○ ○
W 1 j* (t 1) W 1 j* (t ) (t )[X W 1 j* (t )]
（a） （ b）
W 1 j* (t 1) W 1 j* (t ) (t )[X W 1 j* (t )]
其它非获胜神经元的权值保持不变。 t (5)更新学习速率 (k ) (0) 1 t m
14
W 1 j* (t 1) W 1 j* (t ) (t )[X W 1 j* (t )]
5.1 LVQ网络
5.1.4 网络设计
（1）竞争层中神经元个数的设计
一般为输出层的整数倍。由于竞争层各神经元的权向量是输入样本的聚类 中心，因此神经元数目的设置与输入空间样本的分布情况密切相关。
＠ LVQ网络的参数(包括竞争层中神经元的个数、学习率和初始权值
等)是否合适。
13
W 1 j* (t 1) W 1 j* (t ) (t )[X W 1 j* (t )]
5.1 LVQ网络
5.1.4 网络设计
（1）竞争层中神经元个数的设计
一般为输出层的整数倍。由于竞争层各神经元的权向量是输入样本的聚类 中心，因此神经元数目的设置与输入空间样本的分布情况密切相关。 每类样本设1个聚类中心 每类样本设1个聚类中心
2.步骤 (1)样本数据 原始数据：选取外形无损伤红富士苹果，在实验室内进行试验，光照强度 750～1 000lx。通过CCD摄像头采集苹果图像。 样本的处理：目的是从苹果图像中获取用于判断苹果的3个元素：苹果的色 泽、横径和果形指数。 训练集和测试集：训练集中共有40个样本，根据苹果的色泽、横径及果形指数 选取优等、一等、二等和次品苹果各10个，作为训练样本。测试集中共有122 个 样本（人工分级结果是：优等果39 个，一等果39 个，二等果31 个，次品13 个）。