• 权值向量总是指向神经元输出为1的区域
35
例：或运算(OR)
p
1
=
0 0
t1
=
0
p2
=
0
t2
=
1
1
p3
=
1 0
t3
=
1
p4
=
1
t4
=
1
1
1w = 0.5
0.5
1wTp + b = 0.5 0.5 0 + b = 0.25 + b = 0
0.5
b = –0.25
36
多神经元感知机
L
M M O
wS
,1
wS ,2
L
w1,R
w2,
R
,
M
wS
,R
p1 b1 a1
p
p2
,
b
b2
,
a
a2
M M M
pR
bS
aS
10
多层神经网络
11
简化记号
12
递归网络：延时模块
13
递归网络：积分器模块
14
递归网络
15
如何选择一种网络结构
• 网络的输入个数=应用问题的 输入个数
a hard lim s(WP2 b) 1
橘子：P1 1 1 1T
a hard lim s(WP1 b) 1
椭圆的橘子： P 1 1 1T
a hard lim s(WP b) 1
23
方案2：Hamming网络
24
前馈层
Hamming(汉明)距离：
两个向量中不同元素的个数
神经元模型和网络结构
第二章
1
单输入神经元
2
传输函数：硬极限传输函数
0 n 0 a 1 n 0
3
传输函数：线性传输函数
an
4
传输函数：对数S-形传输函数
a
1
1 en
5
常用传输函数
6
常用传输函数
7
多输入神经元
简化记号
8
神经网络的层
9
简化记号
w1,1 w1,2 L
W
w2,1
w2,2
a(0) P;
a(1) 0.7 1 1 a(2) 1 1 1 a(3) 1 1 1
29
扩展的问题
• 当输入较多而判定边界无法用图示方法表示 的情况下，如何设计多输入感知机的权值和 偏置值？
• 如果要识别的问题不是线性可分的，能否通 过扩展标准感知机来解决这类问题？
• 当不知道标准模式时，Hamming网络如何学 习权值和偏置值？
• 输出层神经元的数目=应用问 题的输出数目
• 输出层的传递函数选择至少 部分依赖于应用问题的输出 描述
16
一个说明性实例
第三章
17
苹果/橘子分类器
18
问题描述
特征向量
外形 P 质地
重量
外形=
1 -1
园 其它
质地=
1 -1
光滑 粗糙
重量=
1 -1
1磅 1磅
标准橘子向量 1
P1 1
1
–0.8
输入第一个向量p1
a
=
hardlim1wT p1
=
hardlim
1.0 –0.8
1
2
a = hardlim–0.6 = 0 错误的分类！
39
学习规则的尝试
• 将1w置为p1 • 将1w加上p1 • 尝试性规则：
If t = 1 and a = 0, then 1wnew = 1wold + p
dH
(Px
,
Py
)
1 2
(R
PxT
Py
)
W
1
P1T P2T
1 1
1 1
1 1
,
b1
R R
a1
W
1P
b1
P1T P2T
P P
R
R
2(R 2(R
dH dH
(P, (P,
P1))
P2
))
0 0
25
递归层
W2
1
1
a2 (t 1) poslin(W 2a2 (t))
poslin(
• 每个神经元都有自己的判定边界
iwT p + bi = 0
• 单神经元能将输入向量分为两类 • 多神经元（S个）感知机能将输入向量分
为2S类
37
学习规则：测试问题
p1
=
1 2
t1
=
1
p2 =
–1
t2
=
0
2
p3 =
0
t3 = 0
–1
38
起始点
• 随机生成初始权重向量
1w = 1.0
33
单神经元感知机
w1 1 = 1 w1 2 = 1 b = –1
a = hardlim1wTp + b = hardlimw1 1 p1 + w1 2 p2 + b
34
判定边界
1wTp + b = 0
1wTp = –b
• 判定边界上的点与权值向量的内积相等
• 判定边界上的点到权值向量上的投影相等， 即它们应该位于正交于权值向量的直线上
• 无监督学习 学习算法仅依赖于网络输入，通常是对 输入进行聚类
32
感知机的结构
w1,1 w1,2 L
W
w2,1
w2,2
L
M M O
wS
,1
wS ,2
L
w1,R
w2,R
,
M
wS
,R
iw
wi,1
wi
,2
,W
M
1 2
wT wT
M
wi,R
S
wT
ai = har dlimni = hardlimiwTp + bi
1 0.5
a2 (2) a2 (1);L ; a2 (k) a2 (1)
0.5 4 3
1
2
0
27
方案3：Hopfield网络
28
Hopfield网络测试
0.2 0 0 0.9
W
0
1.2
0
,
b
0
0 0 0.2 0.9
椭圆的橘子：
P 1 1 1T
a1(t 1) satlin(0.2a1(t) 0.9) a2 (t 1) satlin(1.2a2 (t)) a3(t 1) satlin(0.2a3(t) 0.9)
• 如何确定Hopfield网络的权值矩阵和偏置值向 量？
• 如何知道Hopfield网络最终是否会收敛？
30
感知机学习规则
第四章
31
学习规则
• 监督学习 学习规则由一组描述网络行为的实例集 合（输入、输出对；训练集）给出
{ p1,t1},{ p2 ,t2},L ,{ pQ ,tQ}
• 增强学习 对网络的某些输入序列进行评分，来作 为网络的性能测度
标准苹果向量
1
P2
1
1
19
方案1：感知机实现
20
两输入单层感知机
aLeabharlann 1 1WP b 0 WP b 0
W [1,1],b 1
判定边界： WP b 0
21
苹果/橘子实例
a
1 1
WP b 0 WP b 0
W [0,1,0],b 0
判定边界： p2 0
22
网络测试
苹果： P2 1 1 1T
1wnew = 1wol d + p1 =
1.0 + 1 –0.8 2
=
2.0 1.2
a12 a22
(t (t
) )
a22 a12
(t (t
) )
)
1
S 1
26
Hamming网络测试
椭圆的橘子： P 1 1 1T
1
前馈层：
a1
W
1P
1 1
递归层：
1 1
1 1
1 1
3 3
4 2
a2 (0) a1 0.5 1 1
S 1
a2 (1)
poslin(W
2a2 (0))