连接主义认为： 智能活动的基本元素是神经元； 智能活动的过程是大量的相联结的神经元的 并行作用的过程。
二、人工神经网络的历史
❖ 早期阶段（～1960’s）
1943 McCulloch和Pitts 提出神经元的数学模型（MP模型 ）
1949 Hebb 提出权重加强的学习机理 1957 Rosenblatt 感知机（perceptron）有认知学习功能 1969 Mingsky 专著“perceptron” 证明线性（单层）感知
二、人工神经网络的历史
❖ 高潮（1980～）
1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模 型），用单层ANN解决了TSP问题
1987.6 ICNN（International Conference on NN）召开 1987 加州理工 Abn－mostafa，Psaitis 2D联想存储输入残
第8章 人工神经网络
8.1 人工神经网络概述 8.2 神经元模型 8.3 ANN的学习算法 8.4 应用举例
一、生物神经网的构成
树突（Dendrite）
胞体(Soma)
轴突（Axon）
突触（Synapse ）
x1 w1
二、MP模型
x2 w2
F
y
…
xn wn
x in1wixi y F(x) F(in1wixi ) F特❖ 计算输出与应有输出之误差
❖ 反向传播，逐层修正权值，使误差减小
❖ 重复以上步骤，直至整个训练集误差最小。
总结 ANN的学习算法
学习 无 有导 导师 师 二 二 连 连进 进 续 续制 制 值 值值 值A H H B-RoePb网 p网 T、 bfiK、 e网lod统 ho计 n网 en网
机不能解决XOR问题，ANN进入低潮
二、人工神经网络的历史
❖ 过渡期（1970’s） 低潮中，许多学者深入研究ANN理论、模型。 MIT的Marr提出视觉模型 Boston Univ的Grossbery全面研究ANN理论，提
出ART1，ART2，ART3自适应谐振理论模型。 甘利俊一 ANN的数学理论 Fuknshima 神经认知网络理论 芬兰的Kohonen 自组织联想记忆
人工神经网络概述
第8章 人工神经网络
8.1 人工神经网络概述 8.2 神经元模型 8.3 ANN的学习算法 8.4 应用举例
一、人工神经网络的提出
AI研究的两大学派： ❖ 符号主义——用计算机从外特性上模仿人脑
宏观的功能 ❖ 连接主义——在微观内部结构上模仿人脑的
神经
一、人工神经网络的提出
符号主义认为： 智能活动的基本元素是符号； 智能活动的过程是符号处理的过程。
…
…
第8章 人工神经网络
8.1 人工神经网络概述 8.2 神经元模型 8.3 ANN的学习算法 8.4 应用举例
8.3 ANN的学习算法
ANN的学习算法可分为 ❖ 有导师学习 ❖ 无导师学习
自学习、自组织
一、Hebb学习规则
两个细胞同时兴奋，则它们之间连接（权） 应加强。
w i jw i( j n 1 ) w i( j n ) y iy j 属于无导师学习
二、反向传播算法
(Back-Propagation, B-P算法)
（有导师学习）
用于前馈网络
❖ 从训练范例集中取一训练时，输入网络
❖ 正向传播求输出
Y1
F
(
3 i 1
w
i1
xi
S1
1 )
Y4
F(
3 i 1
w
i
4
xi
S4
4)
Z1
F
(
4 j1
w
' j1
y
j
S1'
1' )
Z2
F(
4 j1
w
' j2
yj
S
二、MP模型
❖ 线性函数 y=kx+c
y
c x
o
二、MP模型
❖ 阈值函数
y 10
x x
θ
二、MP模型
❖ S形函数（Sigmoid Function）
y
y
1 1 ex
x 0
二、MP模型
考虑偏置与阈值，神经元模型
x1 w1
x2 w2 … xn wn
F s
y
yF ( in 1w ixi)S
w
41
w 42
w 43
w
44
w
w
' 31
' 41
学习的过程——不断修改权值的过程
w
' 12
w
' 22
w w
' 32
' 42
三、ANN连接模型
❖ 反馈型网络
x1 x2
…… xn
输入层
w
W
’
…
…
隐藏层
z1 z2
zm 输出层
三、ANN连接模型
❖ 反馈型网络
层间反馈——非线性动力系统 层内反馈——横向抑制、竞争 Hopfield网是单层节点全互连的反馈网
第七章 人工神经网络
8.1 人工神经网络概述 8.2 神经元模型 8.3 ANN的学习算法 8.4 应用举例
三、ANN连接模型
❖ 前馈型网络
x1
w
W’
z1
x2
z2
…… xn
输入层
…
…
隐藏层
zm 输出层
三、ANN连接模型
❖ 前馈型网络
输入/输出：二值（0,1）或连续值
权值：可正可负
权值矩阵： w11 w12 w13 w14
w
' 11
w
21
w 22
w 23
w
24
w
' 21
w 31 w 32 w 33 w 34
缺图案也可识别 1988 AT&T Bell lab 120*120元件的ANN 1989 三菱 光学ANN芯片，32个神经元识别26个字母
1989 日立 5“硅片集成576个神经元 1990 Bell Lab 黄庭钰 数字光学处理器 1990 IBM AS400 提供ANN仿真开发环境 1992 SGI 将ANN用于航天飞机控制臂 ANN已在专家系统、智能控制等领域广泛应用