X1
-0.5 -0.5 0.5 -0.5 0.5 0.5 0.5
H2 H3
Y1
X2
Ym 0.5 -0.5 -0.5
H4
Randomly set up the weights of Wih & Whj
0.5
The example of CPN
Sol: Phase I (1) 代入X=[-1,-1] T=[0,1] net1 =[-1-(-0.5)]2 + [-1-(-0.5)]2 = (-0.52) + (-0.52) = 0.5 net2 =[-1-(-0.5)]2 + [ -1-(0.5)]2 = (-0.52) + ( -1.52) = 2.5 net3 = 2.5 net4 = 4.5 ∴ net 1 has minimum distance and the winner is h* = 1 (2) Update weights of Wih* △W11 = (0.5) [-1-(-0.5)] = -0.25 △W21 = (0.5) [-1-(-0.5)] = -0.25 ∴ W11 = △W11 + W11 = -0.75, W21 = △W21 + W21 = -0.75
自组织特征映射网络的学习算法
o1 W1○
„
ok
„
ol
o1 W1○
„
ok
„
ol
Wk○
Wl
○
yj*
„
Wk○
Wl
○
„
y1○ V1
y2○
„
○ym
Vm
y1○ V1
y2○
„
y j*
○ym
Vm
○
x1
„
○
xi
„
○
xn
○
x1
„
○
xi
„
○
xn
(a)竞争产生获胜节点
(b)获胜节点外星向量决定输出
SOM学习过程的图形表示
n
dj
(x w )
i 1 i ij
2
自组织特征映射网络的学习算法
自组织特征映射学习算法步骤
– (1) 网络初始化
用随机数设定输入层和映射层之间权值的初始值.
– (2) 输入向量
把输入向量输入给输入层.
– (3) 计算映射层的权值向量和输入向量的距离
映射层的神经元和输入向量的距离，按下式给出:
因为输入矢量的模已被单位化为1，所以内星的加权输入 和等于输入矢量p1和p2之间夹角的余弦.
根据不同的情况，内星的加权输入和可分为如下几种情况： 1) p2等于p1，即有θ12＝0，此时，内星加权输入和为1； 2) p2不等于p1，内星加权输入和为0； 3) 当p2＝-p1，即θ12＝180°时，内星加权输入和达到最 小值-1。
Introduction
Input layer : X=[X1, X2, …….Xn] Hidden layer: also called Cluster layer, H=[H1, H2, …….Hn] Output layer: Y=[Y1, Y2, ……Ym] Weights : From InputHidden: Wih , From HiddenOutput : Whj Transfer function: uses linear type
自组织特征映射网络的学习算法
设输入层、Kohonen 层及 Grossberg 层分别为 2、2 及 1 个节点的 CPN 网络架构，如下图所示，其中，W、C 代表 2 个输入（体重、 血糖浓度），O 代表输出（胰岛素补充量）；假设当体重为 45 且血 糖浓度为 180，则补充量为 3，另外当体重为 90 且血糖浓度为 240， 则补充量为 6.
(3)Adjust the weights that connected to the winner node in hidden layer with △Wih* ＝ η1(Xi - Wih* ) Phase II: (Grossberg supervised learning） • Some as (1)& (2)of phase I • Let the link connected to the winner node to output node is set as 1 and the other are set to 0. • Adjust the weights using △Wij ＝ η2‧δ‧Hh
与内星不同，外星联接强度的变化Δw是与输入矢量P成正 比的.这意味着当输入矢量被保持高值，比如接近1时，每 个权值wij将趋于输出ai值，若pj＝1，则外星使权值产生输 出矢量. 当输入矢量pj为0时，网络权值得不到任何学习与修正.
科荷伦学习规则 科荷伦现在来考虑当不同的输入矢量p1和p2分别出现在同一内星 时的情况. 首先，为了训练的需要，必须将每一输入矢量都进行单 位归一化处理.
当第一个矢量p1输入给内星后，网络经过训练，最终达到 W ＝ (p1)T. 此后，给内星输入另一个输入矢量 p2 ，此时内 星的加权输入和为新矢量p2与已学习过矢量p1的点积，即：
(1) W = 45, C = 180，则选择 R1 (输出为1)，输出值 O = 3 (2) W = 90, C = 240，则选择 R2 (输出为1) ，输出值 O = 6.
The example of CPN
• Ex：Use CPN to solve XOR problem
H1
-0.5
X1 X2 T1 T2 -1 -1 1 1 -1 1 -1 1 0 1 1 0 1 0 0 1
内星学习规则 实现内星输入／输出转换的激活函数是硬限制函数. 可以通过内星及其学习规则来训练某一神经元节点只 响应特定的输入矢量P，它是借助于调节网络权矢量W 近似于输入矢量P来实现的.
单内星中对权值修正的格劳斯贝格内星学习规则为： (1) 由(1)式可见，内星神经元联接强度的变化Δw1j是与输出 成正比的。如果内星输出 a 被某一外部方式而维护高值 时，那么通过不断反复地学习，权值将能够逐渐趋近于 输入矢量pj的值，并趋使Δw1j 逐渐减少，直至最终达到 w1j ＝ pj ，从而使内星权矢量学习了输入矢量 P，达到了 用内星来识别一个矢量的目的 . 另一方面，如果内星输 出保持为低值时，网络权矢量被学习的可能性较小，甚 至不能被学习.
dj
(x w )
i 1 i ij
n
2
自组织特征映射网络的学习算法
– (4) 选择与权值向量的距离最小的神经元 计算并选择使输入向量和权值向量的距离最小的神经元，把 其称为胜出神经元并记为 j ，并给出其邻接神经元集合. – (5)调整权值 胜出神经元和位于其邻接神经元的权值，按下式更新：
自组织特征映射神经网络结构
竞争层 输入层
SOM神经网络立体示意图
自组织特征映射网络的学习算法
自组织特征映射学习算法原理
– Kohonen自组织特征映射算法，能够自动找出输入数据 之间的类似度，将相似的输入在网络上就近配置. 因此 是一种可以构成对输入数据有选择地给予响应的网络.
类似度准则
– 欧氏距离:
科荷伦学习规则实际上是内星学习规则的一个特例，但 它比采用内星规则进行网络设计要节省更多的学习，因 而常常用来替代内星学习规则.
CPN 思想
Counter Propagation Network(CPN)
－ Robert Hecht-Nielson 在1987年提出了对传网. CPN为异构网： – Kohonen, 1981年提出的Self-organization map • SOM——Kohonen层 – Grossberg, 1969年提出的Outstar——Grossberg层 让网络的隐藏层执行无导师学习，是解决多级网络训练的另一个思路.
由此可见，对于一个已训练过的内星网络，当输入端再次 出现该学习过的输入矢量时，内星产生1的加权输入和； 而与学习过的矢量不相同的输入出现时，所产生的加权输 入和总是小于1. 当多个相似输入矢量输入内星，最终的训练结果是使网 络的权矢量趋向于相似输入矢量的平均值.
外星学习规则 外星网络的激活函数是线性函数，它被用来学习回忆一 个矢量，其网络输入P也可以是另一个神经元模型的输出. 外星被训练来在一层s个线性神经元的输出端产生一个特 别的矢量A. 对于一个外星，其学习规则为：
内星可以被训练来识别矢量； 外星可以被训练来产生矢量.
CPN算法基础
图1 格劳斯贝格内星模型图
内星是通过联接权矢量W接受一组输入信号P
CPN算法基础
图2 格劳斯贝格外星模型图
外星则是通过联接权矢量向外输出一组信号A. 它们之所以被称为内星和外星，主要是因为其网络的 结构像星形，且内星的信号流向星的内部；而外星的 信号流向星的外部.
由芬兰学者Teuvo Kohonen于1981年提出
I’m Teuvo Kohonen
基本上为输入层和映射层的双层结构 , 映射层的神 经元互相连接，每个输出神经元连接至所有输入神 经元 .
自组织特征映射神经网络结构 竞争层
输入层
SOM神经网络结构
自组织特征映射神经网络结构
输入层
竞争层
SOM神经网络平面示意图
2

2
)
– 由邻域函数可以看到，以获胜神经元为中心设定了一 个邻域半径，称为胜出邻域 . 学习初期，胜出神经元 和其附近的神经元全部接近当时的输入向量，形成粗 略的映射. 2 随着学习的进行而减小，胜出邻域变窄， 胜出神经元附近的神经元数变少.因此，学习方法是一 种从粗调整向微调整变化，最终达到预定目标的过程.
监督式学习
• 依分类的结果建立输入-输出映射表（look-up table） • 依Grossberg 学习法调整隐层优胜神经元的连接向量， 使之能正确的投射到配对（input-output pair）的输出向 量 Y 上.