对样本对（输入和期望输出）进行学习；将样本的输 入送至神经网络，计算得到实际输出；若实际输出与 期望输出之间的误差不满足精度要求，则调整权值W 和阈值b，逐渐减小误差，直至满足精度要求。
学习过程：通过样本更新权值和阈值
输出目标
训练样本
{ p1, t 1 } { p2, t 2 } {pQ,tQ }
2 2 a2 2
n f
3 2
2 3 a2 2
w23
wR 1
wR 2
1 n1 s1 f s
1
a1 s1
n f
2 s2
2 2 as 2 s2
n f
3 s3
2 3 as 2 s3
wR 3
xR
输入层
隐含层
输入-输出关系：
a f W , p
隐含层
输出层
人工神经网络
一、网络结构
1、输入神经元数，输出神经元个数 2、隐层数，每个隐层中神经元个数 3、每个神经元的激活函数f
神经网络的结构
前馈神经网络
输入--输出关系？
递归神经网络
特点：神经元之间 有反馈连接
单个神经元
x1
w1 权值
w2
n

x2
多输入
f
a
单输出
wn xn
净输入 n 输入-输出关系
T w x w x ii i 1 n
a f (n) f ( wT x)
w1 w2 w 其中， wn 1
大脑神经系统
大脑内约含1000亿个神经元 神经系统是由这些神经元经过高 度的组织与相互作用而构成的复 杂的网络
特征：神经元+相互作用
神经元模型
突触 突触 突触
x1
突触
突触
神经元与神经元之间如何 相互作用（传递信息）？
依赖于突触的联接！突触的联接 会受外界信息的影响或自身生长 过程的影响而变化。正是通过神 经元及其突触联接的可变性，使 得大脑具有学习、记忆和认知等 各种智能。
输入 p
a f (W , p)
W(old) W(new)
神经网络
a
学习
网络的学习：通过样本不断调整权值 学习好以后的网络：权值不再改变，所学的知 识存储在权值中 学习好以后的网络进行预测、分类等等 下面将给出三种典型的有导师学习的神经网 络：BP,RBF,PNN
BP（反向传播）神经网络原理
ni wij p j
j 1
R
wR 2
ns f s
as
a f W p
T


wR 3
pR
权值， 求和，激活函数
多层前馈神经网络
x1 w11 w12 w13
x2
n f
1 1
1 1 a1 1
n f n f
2 2
2 1
2 a12 1
n
3 1
3 a12 f1
w21
w22
n f
1 2
1 a1 2 2
关键：调整权值
p
a
神经网络
输入：苹果或香蕉
a f (W , p)
期望输出
t=1---苹果 t=0---香蕉
shape p = te xture w eight
有导师的学习
期望输出（向量）
训练样本：{ p1, t 1} { p2, t 2} {pQ,tQ }
输入（向量）
基本思想：
一、结构
1、多层前馈网络：
前、后层之间各神经元 实现全联接；同一层的 神经元之间无联接。
x1 x2 xn
j
误差反向传播(学习算法) i k +
输入层
M wij
2、输入输出关系： a f W , x
隐含层 信息流
q
wki
输出层
L
激活函数通常采用 S 形函数，如 logsig，tansig函数；输出 层激活函数多采用purelin函数。
输入-输出关系
p a
神经网络
a f (W , p)
二、前馈神经网络的学习
这类网络模型 怎样实现分类、识别、 预测等智能行为？
通过学习！改变连接权值W！
通过样本更新权值和阈值
以识别苹果和香蕉为例
期望输出
} { p2, t 2 } {pQ,tQ } 训练样本：{ p1, t 1
输入
突触是可变的
w1
w2
x2
a
xn
wn
神经元模型
连接权值w对应于突触
完成输入-输出的非线性映射，有三个关键
连接权值
x1
求和单元
激活函数
激活函数
w1 权值
w2
n 阈值多 Nhomakorabea入x2
f
a
wn xn
净输入 n 输入-输出关系
T w x w x ii i 1 n
单输出
w1 w2 w 其中， wn 1 x1 x2 x xn
a f (n) f ( wT x)
常见的几类激活函数
这些非线性函数具有两个显著的特征，一是 突变性，二是饱和性，这正是为了模拟神经 细胞兴奋过程中所产生的神经冲动以及疲劳 等特性
人工神经网络
人工神经网络＝神经元＋连接
连接
神经元 神经元
神经网络分类 •无反馈网络：前馈神经网络 •有反馈网络：递归神经网络
3、理论上，具有一个隐含层的BP网络可以以任意精度
逼近任意非线性函数。
二、BP网络的学习算法
} { p2, t 2 } {pQ,tQ } 训练样本 { p1, t 1 BP网络的学习算法是典型的有导师学习算法： 将样本输入神经网络，得到网络的实际输出，若 输出值与期望输出之间的误差不满足精度要求， 则从输出层反向传播该误差，从而调整权值及阈 值，使得网络的输出和期望输出间的误差逐渐减 小，直至满足精度要求。 学习过程：
数学建模系列讲座
基于神经网络的预测与分类
万敏 理学院
一、有导师学习神经网络的原理； matlab实现； BP、RBF在预测、分类中的应用; PNN在分类中的应用 二、无导师学习神经网络的原理； matlab实现； 竞争神经网络、SOFM在分类、聚类中的应用
人工神经网络产生背景
机器智能
研究怎样用机器（计算机）模仿人脑 从事推理、设计、思考、学习等思维活动， 以解决和处理较复杂的问题。 人工神经网络 是机器智能的一部分，它模拟大脑的神经 系统，更简单的说，就是人脑神经系统的一 个数学模型
x1 x2 x xn
单层前馈神经网络
p1 w11 w12 w13
p2 w21
n1 f 1 n2 f 2
a1
w22
a2
输入-输出关系： R ai f i w p ij j j 1
w23
wR 1