建立神经网络
规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表 示属于Af类。
设两个权重系数矩阵为：
W 1 w w 1 1((1 2,,1 1 ))
w 1(1,2) w 1(2,2)
w 1(1,3) w 1(2,3)
W 2 w 2 ( 1 , 1 ) w 2 ( 1 , 2 ) w 2 ( 1 , 3 )
(2)低潮(70-80年代初)
20世纪60年代以后，数字计算机的发展达到全盛时期，
人们误以为数字计算机可以解决人工智能、专家系统、模式
识别问题，而放松了对“感知器”的研究。人工神经网络进
入低潮期。
3
(3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield网络.1986
值 和最大学习次数M。
第二步,随机选取第 k 个输入样本及对应 期望输出
x( k ) x 1 ( k ) ,x 2 ( k ) ,,x n ( k )
d o( k ) d 1 ( k ) ,d 2 ( k ) ,,d q ( k )
第三步，计算隐含层各神经元的输入和 输出
n
h ih (k ) w ih x i(k ) b h h 1 ,2 , ,p
单层感知器工作原理
对于只有两个输入的判别边界是直线（如下式所示）,选择 合适的学习算法可训练出满意的结果，当它用于两类模式的 分类时，相当于在高维样本空间中，用一个超平面将两类样 本分开。
w 1x1w 2x2b0
x2 类l2
类l1 x1
判决边界 w1x1+w2x2+b=0
感知机的学习策略：
f(x ) sg w .x n b )(
隐含层与输出层的连接权值: 隐含层各神经元的阈值: b h
w
ho
输出层各神经元的阈值: b o 样本数据个数: k1,2, m
激活函数: f ( )
误差函数：
e1 2o q (1do(k)yo(k)2 )
第一步，网络初始化
给各连接权值分别赋一个区间（-1，1）内 的随机数，设定误差函数e，给定计算精度
BP网络的激活函数必须是处处可微的，因此它不能采用 二值型的阀值函数{0，1}或符号函数{－1，1}
BP网络经常使用的是S型的对数或正切激活函数和线性 函数
BP网络的寻找最优参数w和b,采用的是实际输出和期望 输出的误差的最佳平方逼近的思路
17
BP神经网络模型
三层BP网络
输入层
隐含层
输出层
m
y f ( wixi b)
i1
b为阈值，f（X）是激发函数；它可以是线性函数，也可 以是非线性函数．
常见的三类激发函数
单位阶跃函数 ：
f (x) 1 0,,
x0 x0
S型激发函数：
f (x)11ex ,
0f(x) 1 ;
tanh型激发函数：
f
(x)
eexx
ex ex
,
1f(x) 1 .
m w b,L in ( bw ) x i ,M y i(w .x i b )
感知机的算法是基于梯度下降法的对损失函 数的最优化算法。
单层感知机的缺点
单层感知器是线性可分模型 感知器的输出只能取-1或1（0或1）.只能用来解
决简单的分类问题。 当感知器输入矢量中有一个数比其他数都大或
小得很多时，可能导致较慢的收敛速度。
为第一层的输出，同时作为第二层的输入。
其中， i 为阈值，f 为激励函数
若令 a0(3)1 （作为一固定输入）
w 1(j,3)j
j 1,2
（阈值作为固定输入神经元相应的权系数）
hih (k )
q
(do(k)yoo(k))f(yio(k))who
o1
hoh(k) hih(k)
q
( o(k)who)f(hih(k)) h(k)
o1
第六步，利用输出层各神经元的 o ( k ) 和隐含 层各神经元的输出来修正连接权值 w ho ( k ) 。
who(k)weho o(k)hoh(k)
差函数对隐含层各神经元的偏导数 h ( k ) 。
e who
e yio
yio who
o(k)hoh(k)
e e hih(k) wih hih (k) wih
n
hih (k )
wih
(
i1
wihxi (k) bh ) wih
xi (k)
e
( 1 2
q o 1
(do (k )
yoo (k ))2 )
第九步，判断网络误差是否满足要求。当误差 达到预设精度或学习次数大于设定的最大次数， 则结束算法。否则，选取下一个学习样本及对应 的期望输出，返回到第三步，进入下一轮学习。
应用之例：蚊子的分类
• 已知的两类蚊子的数据如表1：
❖ 翼长 ❖ 1.78 ❖ 1.96 ❖ 1.86 ❖ 1.72 ❖ 2.00 ❖ 2.00 ❖ 1.96 ❖ 1.74
e e y io w ho y io w ho
p
(Hale Waihona Puke yio(k) whoh
whohoh(k)bo)
who
hoh(k)
e
yio
(12oq1(do(k)yoo(k)))2 yio
(do(k)yoo(k))yoo (k)
(do(k)yoo(k))f(yio(k)) o(k)
第五步，利用隐含层到输出层的连接权 值、输出层的 o ( k ) 和隐含层的输出计算误
hoh (k )
hih (k )
hoh (k )
hih (k )
( 1 2
q o 1
(do (k )
f(
yio (k )))2 )
hoh (k )
hoh (k )
hih (k )
( 1 2
q o 1
((do (k )
p
f(
h 1
whohoh (k )
bo )2 ))
hoh (k )
hoh (k )
神经网络的介绍
内容安排
一、历史回顾 二、单层感知机与多层感知机 三、BP网络 四、卷积神经网络 五、内容小结
2
历史回顾
(1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在
提出了一个简单的神经元模型，即MP模型。1958年， F.Rosenblatt等研制出了感知机(Perceptron）。
多层感知机的介绍
多层感知器相对于单层感知器，输出端从一个变到了多 个；输入端和输出端之间也不光只有一层，可以有多层: 输出层和隐藏层。
网络模型结构
例：如图是一个含有两个输入，三个感知机隐层神经元和一 个输出神经元的三层感知机网络，若取
x1
y1
y2
z
x2
y3
y3
y1
y2
y1=sgn(2x1+2x2+1) y2=sgn(-x1+0.25x2+0.8) y3=sgn(0.75x1-2x2+1.4) z = sgn(y1+y2+y3-2.5)
单层感知机的介绍
单层感知器是用于线性可分模式分类的最简单的神经网络模型。 用来调整这个神经网络中自由参数的算法最早出现F.Roseblatt
（1958,1962）提出的用于脑感知模型的一个学习过程中。
6
网络模型结构
其中x＝（x1，…xm）T 输入向量，y为输出，wi是权系 数；输入与输出具有如下关系：
在被人摒弃的10年中，有几个学者仍然在坚持研究。这其中 的棋手就是加拿大多伦多大学的GeofferyHinton教授。2006年， Hinton在《Science》和相关期刊上发表了论文，首次提出了 “深度学习”的概念。很快，深度学习在语音识别领域暂露头角。 接着，2012年，深度学习技术又在图像识别领域大展拳脚。 Hinton与他的学生在ImageNet竞赛中，用多层的卷积神经网络 成功地对包含一千类别的一百万张图片进行了训练，取得了分类 错误率15%的好成绩，这个成绩比第二名高了近11个百分点，充 分证明了多层神经网络识别效果的优越性。
学习的过程： 神经网络在外界输入样本的刺激下不断改变网 络的连接权值,以使网络的输出不断地接近期 望的输出。
学习的本质： 对各连接权值的动态调整
学习规则： 权值调整规则，即在学习过程中网络中各神经 元的连接权变化所依据的一定的调整规则。
BP网络的标准学习算法-算法思想
学习的类型：有导师学习 核心思想：
wN1 ho
whNo
o(k)hoh(k)
第七步，利用隐含层各神经元的 h ( k ) 和输入层 各神经元的输入修正连接权。
wih(k)weihhihe(k)hiwh(ihk)h(k)xi(k) wiNh1wiNhh(k)xi(k)
第八步，计算全局误差
E21 mkm 1oq 1(do(k)yo(k))2
触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
目标值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1
❖ 翼长 ❖ 1.64 ❖ 1.82 ❖ 1.90 ❖ 1.70 ❖ 1.82 ❖ 1.82 ❖ 2.08
将输出误差以某种形式通过隐层向输入层逐层反传
将误差分摊给各层的所有 单元－－－各层单元的误 差信号
学习的过程： 信号的正向传播
修正各单元权 值
误差的反向传播
BP网络的标准学习算法-学习过程
正向传播：
输入样本－－－输入层－－－各隐层－－－输出层