( p) L
(i)) f (u
'
( p) L
(i))
（11）
) ( p 1) l( p ) (i) f ' (ul( p ) (i )) l(p ( j ) w ( j , i ) （12） 1 l 1 j 1 1 l L 1. 数学模型
Nl 1
BP算法
Step1 • 选定学习的数据,p=1,…,P, 随机确定初始 权矩阵W（0） • 用学习数据计算网络输出





翼长 1.64 1.82 1.90 1.70 1.82 1.82 2.08
触角长 类别 1.38 Af 1.38 Af 1.38 Af 1.40 Af 1.48 Af 1.54 Af 1.56 Af
目标t 0.1 0.1 0.1 0.1 0.1 0.1 0.1
数学模型



输入数据有15个，即 , p=1,…,15; j=1, 2; 对应15 个输出。 建模：（输入层，中间层，输出层，每层的元素 应取多少个？） 建立神经网络
数学模型

分类结果 ： (1.24 ， 1.80) ， (1.28 ， 1.84) 属于 Af 类； (1.40，2.04）属于 Apf类．
图2 分类直线图
数学模型
•缺陷：根据什么原则确定分类直线？
• 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线 变为 y=1.39x+0.071 分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类 • 哪一分类直线才是正确的呢？ • 因此如何来确定这个判别直线是一个值得研究的 问题．一般地讲，应该充分利用已知的数据信息 来确定判别直线．
数学模型

规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表 示属于Af类。 设两个权重系数矩阵为：
w1 (1,1) W1 w1 (2,1)
W2 w2 (1,1)
w1 (1,2) w1 (2,2)
Step2 Step3
• 用（10）式反向修正,直到用完所有学 习数据.
l 1,...,L,
( p) ( p 1) ( p) wl (i, j ) wl (i, j ) l( p ) al 1 ( j ),
数学模型
五．应用之例：蚊子的分类
• 已知的两类蚊子的数据如表1：

从此用神经网络来识别语言和图象形成一个新的热潮．
数学模型
4、人工神经网络的基本特点
（1）可处理非线性
（2）并行结构．对神经网络中的每一个神经元来说；其 运算都是同样的．这样的结构最便于计算机并行处理． （ 3 ）具有学习和记忆能力．一个神经网络可以通过训练 学习判别事物；学习某一种规律或规则．神经网络可以 用于联想记忆． （4）对数据的可容性大．在神经网络中可以同时使用量化 数据和质量数据（如好、中、差、及格、不及格等）． （5）神经网络可以用大规模集成电路来实现．如美国用 256 个神经元组成的神经网络组成硬件用于识别手写体的邮政编 码． 数学模型
数学模型
三、人工神经网络 （Artificial Neuron Nets, 简称ANN）

神经元的数学模型
图4神经元的数学模型 数学模型

其中x＝（x1，…xm）T 输入向量，y为输出， wi是权系数；输入与输出具有如下关系：
y f ( wi xi )
i 1
• θ 为阈值，f（X）是激发函数；它可以是线性 函数，也可以是非线性函数．
假设：
（3）设层与层间的神经元都有信息交换（否则，可设它们 之间的权重为零）；但同一层的神经元之间无信息传 输． (4) 设信息传输的方向是从输入层到输出层方向；因此称为 前向网络．没有反向传播信息． （5） a0 ( j ) 表示输入的第j个分量．
数学模型
在上述假定下网络的输入输出关系可以表示为：
p) wl( p ) (i, j ) wl( p1) (i, j ) l( p ) al( 1 ( j ),
（ 10 ）
l 1,...,L,
wl( p ) (i, j ) 表示第l-1层第j个元对第l层第i个元输入 的第p次迭代时的权重

( p) L
(i) (t
( p)
(i) a
人工神经网络建模 （Artificial Neuron Nets）
一、引例
• 1981年生物学家格若根（W． Grogan）和维什（W．Wirth）发现了两 类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角 长，数据如下： • • • • • • • • • 翼长 1.78 1.96 1.86 1.72 2.00 2.00 1.96 1.74 触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
N0 u1 (i) w1 (i, j )a 0 ( j ) 1 (i), j 1 1 i N1 , a1 (i) f (u1 (i)), N1 u 2 (i) w2 (i, j )a1 ( j ) 2 (i ), j 1 a (i) f (u (i)), 1 i N2 , 2 2 .......... .......... .......... ......... N L 1 u L (i) wL (i, j )a L 1 ( j ) L 1 (i), j 1 1 i NL, a L (i) f (u L (i)),
t pi o pi
数学模型
注：由（1） 式，第i个神经元的输出可表示为
o pi f ( wij i pj )
j 1
m
ipm= -1 , wim= (第i个神经元的阈值) 特别当f是线性函数时
（5）
o pi a( wij i pj ) b
j 1
m
（6）
数学模型
数学模型
2．多层前馈网络
pn
T
目标输出向量为（实际上的）
Tp
(t p1 ,...,t
)
T
网络输出向量为 （理论上的）
Op (o p1 ,...,o pn )T
数学模型
记wij为从输入向量的第j (j=1,…,m) 个分量到输出向量 的第i (i=1,…,n)个分量的权重。通常理论值与实际值有一误 差，网络学习则是指不断地把与比较，并根据极小原则修 改参数wij，使误差平方和达最小：
0 f ( x) 1;
数 学 模 型
或

e x ex f ( x) x , x e e
1 f ( x) 1.
注：若将阈值看作是一个权系数，-1是一个固定的 输入，另有m-1个正常的输入，则（1）式也可表 示为：
y f ( wi xi )
i 1
m
（1）
• 参数识别：假设函数形式已知，则可以从已有的 输入输出数据确定出权系数及阈值。
解法一： • 把翼长作纵坐标，触角长作横坐标；那么每个 蚊子的翼长和触角决定了坐标平面的一个点.其 中 6个蚊子属于 APf类；用黑点“·”表示；9个 蚊子属 Af类；用小圆圈“。”表示． • 得到的结果见图1
数 学 模 型
• 图1飞蠓的触角长和翼长

思路：作一直线将两类飞蠓分开
• 例如；取 A ＝（ 1.44 ， 2.10 ）和 B ＝ (1.10 ， 1.16) ， 过A B两点作一条直线： • y＝ 1.47x - 0.017 • 其中X表示触角长；y表示翼长． • 分类规则：设一个蚊子的数据为（x, y） • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
假设：
图7 多层前馈网络
（l）输入层不计在层数之内，它有No个神经元．设网络 共有L层；输出层为第L层；第 k层有Nk个神经元． (2) 设 u k (i ) 表示第k层第i神经元所接收的信息 wk(i,j) 表示从第k-1层第j个元到第k层第i个元的权重，
a k (i ) 表第k层第i个元的输出
数学模型
• 翼长 • 1.64 • 1.82 • 1.90 • 1.70 • 1.82 • 1.82 • 2.08
触角长 1.38 1.38 1.38 1.40 1.48 1.54 1.56
类别 Af Af Af Af Af Af Af
数 学 模 型

问：如果抓到三只新的蚊子，它们的触角长和 翼长分别为(l.24,1.80); (l.28，1.84)；（1.40， 2.04）．问它们应分别属于哪一个种类？
数学模型
m
例如，若记
z
w x
i 1 i
m
i

取激发函数为符号函数
1, sgn( x) 0,
则
1, y f ( z) 0,
x 0, x 0.
i i
w x w x
i 1 i i 1 m
m
, ,
i
S型激发函数：
1 f ( x) , x 1 e
四、反向传播算法（B-P算法） Back propagation algorithm
算法的目的：根据实际的输入与输出数据，计算模型的参 数（权系数）
1．简单网络的B-P算法
图6 简单网络
数学模型
假设有P个训练样本，即有P个输入输出对 （Ip, Tp）,p=1,…,P, 其中

输入向量为 ,
I p (i p1 ,...,i pm )