1, 1,
x≥0 x0
f(x)
1
0
x
-1
阶跃函数
符号函数
人工神经元--激励函数—饱和型函数
1, f (x) kx, 1,
x≥ 1 k
1≤x 1
k
k
x1 k
f(x) 1
0
x
-1
饱和型函数
人工神经元-激励函数-双曲正切函数
f
(x)
tanh(x)
ex ex
ex ex
f(x) 1
0
x
-1
双曲正切函数
参数 逻辑与 逻辑或
表 2.1 逻辑与和逻辑或神经网络结构中参数的选取
1
2
f(x)
f (x) 1 x≥0
0.5
0.5
0.75
f (x) 0 x 0
f (x) 1 x≥0
0.5
0.5
0.25
f (x) 0 x 0
逻辑与和逻辑或的实现
人工神经元-激励函数-S型函数
f (x)
1
, 0
1 exp(1 x)
f(x)
β=5.0
1
0.5 β=1
0
x
S型函数
人工神经元-激励函数-高斯函数
f (x) ex2 /2
f(x) 1
-1
0 1x
高斯函数
2、人工神经元网络结构
1 前馈型网络结构 2 反馈型网络结构
人工神经元网络结构---前馈型网络结构
学习规则是修正神经元之间连接强度或加权系数的算法， 使获得的网络结构能够适应实际需要的变化。具体说， 学习规则就是人工神经网络学习过程的一系列规定，包 括调整加权系数的规则、输出误差判定规则等。
学习 规则
人工 神经 网络 主要 算法
感知器 BP网络 RBF网络 Hopfield神经网络
感知器特点
感知器模型时代
学者Resentblatt提出了感知器模型提出了全新的迭代逼近求解方 法，到目前为止一直是人工神经网络的求解模式
复兴时代
前馈型人工神经网络算法的提出并软件成熟，人们对人工神经网络 开始产生了兴趣，特别是误差反向传播神经网络的提出。
多流派，百家争鸣
提出了很多研究成果，有径向基函数神经网络、Hopfield神经网络和 自组织特征映射模型等，最著名的就是深度学习模型
• 连接权值可通过 对训练样本的学 习而自动变化
二、人工神经基本理论
1、人工神经元
1 人工神经元是人工神经网络的基本单元 2 它模拟了大脑神经网络中一个脑细胞结构 3 它是一个多输入、单输出的非线性组件
人的脑细胞结构
人工神经元----人工神经元结构
x1
1
x2 2
i xi n
xn
f ()
输入信号： xi (i 1, 2, , n)
...
3、人工神经网络学习
学习 方法
学习方法也称为训练方法，根据不同的学习环
境人工神经网络的学习方法计可算分智为能有教师学习
（或称监督学习、有指导学习）和无教师学习
Click here to add your text.Click
（或称无监督学习、无指导her学e to习ad）d 。your text.
标时，感知器可将其有效分类 6. 单层感知器也可解决简单的非线性问题，如逻辑代数中的基本运算与、或。 7. 多层感知器的训练与学习过程类似于单层感知器，它可以实现许多逻辑功能，如2层感知器可以
实现异或逻辑。目前理论上已经证明，3层或3层以上的感知器可以以任意精度逼近非线性函数。
前馈神经网络---主要算法---感知器
输出信号： y f(I )
n
y
I i xi
i 1
加权系数： i
门限值：
激活函数： f ( )
阈值型函数 . 饱和型函数
双曲正切型函数
S型函数 高斯函数
五种常用的激励函数
人工神经元--激励函数--阈值型函数
1, x ≥ 0 f (x) 0, x 0
f(x) 1
0
x
sgn(x)
f
(x)
前馈型神经网络采用一种单向多层结构，其中每一层包含若干个神经元，同一层 的神经元之间没有互相连接，层间信息的传递只沿一个方向进行。典型的前馈网络有 感知器网络、BP网络以及RBF网络等。是有训练样本的学习，也叫有监督学习或者有 教师学习。
输入层
隐含层
输出层
人工神经元网络结构---反馈型网络结构
反馈型神经网络的输出信号通过与输入连接而返回到输入端，从而形成一个回路。 典型的反馈网络有Hopfield神经网络、自组织特征映射神经网络等。是无训练样本的 学习，也叫无监督学习或者无教师学习。
y j
f
n
i, j xi
j
i1
i, j (t 1) i, j (t)
d
p j
y
p j
xip
前馈神经网络---主要算法---感知器
开始
计算实际 输出
第三步 第四步
初始化参 数
第二步 第一步
第五步
确定输入样本 及其对应的期 望输出
检查
调整加权系数， 返回步骤3输入 下一样本及对应 期望输出
1. 1957年美国计算机科学家罗森布拉特提出了感知器（Perceptron），这是最早的前馈型神经网 络模型。
2. 感知器分单层感知器和多层感知器。 3. 单层感知最简单的前馈网络结构。 4. 单层感知器学习的基本思想是：逐步地将样本输入到网络中，根据输出结果和期望输出之间的
误差来调整网络中的加权系数， 5. 单层感知器特别适合解决线性可分的模式分类问题，当感知器的外部输入为线性可分的两类目
20世纪40年代
人 工
神
1957年
经 网
络
发
20世纪80年代
展 历
程
至今
人工神经网络的特点
• 分布式存储方 式使人工神经 网络具有良好 的鲁棒性和容 错性。
分布式 存储信
息
• 使网络具有非 常强的实时性
并行协 同处理
信息
• 神经元兼有信 息处理和存储 功能
信息处 理与存 储合二
为一
自组织、 自学习
第二章 人工神经网络
主讲：毕晓君教授
本章主要内容
01 概 述
02 ANN基本原理
03 感知器
04 BP、RBF网络
1 人工神经网络是一个算法，简称ANN 2 它模拟了大脑的神经网络结构和功能 3 能够实现非线性函数的数学模型
开创神经科学理论的研究时代
心理学家W.S.McCulloch和数学逻辑学家 W.Pitts通过对生物神经 系统的深入研究联合提出了人工神经网络的第一个数学模型
x p (x1p , x2p , , xnp ) d p (d1p , d2p , , dmp )
初始化参数：权值和最大训 练循环次数
计算 y j
f
n
i, j xi
j
i 1
检查实际输出与期望输出是否相同， 否
是否已经最大循环次数
结束
逻辑与和逻辑或的实现
单层感知器也可解决简单的非线性问题，如逻辑代数中的基本运算与、或。