三、人工神经网络（Artificial Neuron Nets, 简称 ANN）
• 神经元的数学模型
• 图4神经元的数学模型
• 其中x＝（x1，…xm）T 输入向量，y为输出， wi是权系数；输入与输出具有如下关系：
y f ( wi xi )
i 1
• θ 为阈值，f（X）是激发函数；它可以是线性 函数，也可以是非线性函数．
• 规定目标为： 当t(1)=0.9 时表示属于Apf类， t(2)=0.1表示属于Af类。 • 设两个权重系数矩阵为：
w1 (1,1) w1 (1,2) w1 (1,3) W1 w1 (2,1) w1 (2,2) w1 (2,3)
W2 w2 (1,1) w2 (1,2) w2 (1,3)
• 再如，如下的情形已经不能用分类直线的办法：
• 新思路：将问题看作一个系统，飞蠓的数据作为输 入，飞蠓的类型作为输出，研究输入与输出的关系。
二、神经元与神经网络
• 大脑可视作为1000多亿神经元组成的神经网络 • 神经元的解剖图
•
图3 神经元的解剖图
• 神经元的信息传递和处理是一种电化学活 动．树突由于电化学作用接受外界的刺激；通 过胞体内的活动体现为轴突电位，当轴突电位 达到一定的值则形成神经脉冲或动作电位；再 通过轴突末梢传递给其它的神经元．从控制论 的观点来看；这一过程可以看作一个多输入单 输出非线性系统的动态过程 • 神经网络研究的两个方面 • 从生理上、解剖学上进行研究 • 从工程技术上、算法上进行研究
• 图6 简单网络
• 假设有P个训练样本，即有P个输入输出对 • （Ip, Tp）,p=1,…,P, • 其中
• 输入向量为 ,
I p (i p1 ,...,i pm )
T
• 目标输出向量为（实际上的）
Tp (t p1 ,...,t pn )
T
• 网络输出向量为 （理论上的）
Op (o p1 ,...,opn )
• Delta学习规则:
• 记 wij 表示递推一次的修改量，则有
wij wij wij
P P
（3）
wij (t pi o pi )i pj pi i pj （4）
p 1 p 1
pi t pi o pi

称为学习的速率
• 注：由（1） ‘ 式，第i个神经元的输出 可表示为 m
• • • • • • • •
翼长 1.64 1.82 1.90 1.70 1.82 1.82 2.08
触角长 1.38 1.38 1.38 1.40 1.48 1.54 1.56
类别 Af Af Af Af Af Af Af
目标t 0.1 0.1 0.1 0.1 0.1 0.1 0.1
• 输入数据有15个，即 , p=1,…,15; j=1, 2; 对应15个 输出。 • 建模：（输入层，中间层，输出层，每层的元素 应取多少个？） • 建立神经网络
( p1) l
• • • • • • • • •
翼长 1.78 1.96 1.86 1.72 2.00 2.00 1.96 1.74
触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
目标值
0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1
第十一章 人工神经网络建模 （Artificial Neuron Nets）
• 一、引例
• 1981年生物学家格若根（W． Grogan）和维什（W．Wirth）发现了两 类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角 长，数据如下： • • • • • • • • • 翼长 1.78 1.96 1.86 1.72 2.00 2.00 1.96 1.74 触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
u k (i)
表示第k层第i神经元所接收的信息
wk(i,j) 表示从第k-1层第j个元到第k层第i个元的权重，
a k (i )
表第k层第i个元的输出
• （3）设层与层间的神经元都有信息交换（否则， 可设它们之间的权重为零）；但同一层的神经元 之间无信息传输．
• (4) 设信息传输的方向是从输入层到输出层方向； 因此称为前向网络．没有反向传播信息． • （5） 量．
2、神经网络的数学模型
• 众多神经元之间组合形成神经网络，例如下图 的含有中间层（隐层）的B-P网络
• 图5 带中间层的B-P网络
3、量变引起质变------神经网络的作用
• （1）蚂蚁群
•
一个蚂蚁有50个神经元，单独的一个蚂蚁不能做 太多的事；甚至于不能很好活下去．但是一窝蚂蚁； 设有 10万个体，那么这个群体相当于500万个神经元 （当然不是简单相加，这里只为说明方便而言）；那 么它们可以觅食、搬家、围攻敌人等等．
T
• 记wij为从输入向量的第j (j=1,…,m) 个分量到输出向量的第i (i=1,…,n)个分量的权重。通常理论值与实际值有一误差， 网络学习则是指不断地把与比较，并根据极小原则修改参 数wij，使误差平方和达最小：
min (t pi o pi )
i 1
n
2
• （p=1,…,P）
• （2）
• 图1 飞蠓的触角长和翼长
• 思路：作一直线将两类飞蠓分开 • 例如；取A＝（1.44，2.10）和 B＝(1.10，1.16)， 过A B两点作一条直线： • y＝ 1.47x - 0.017， • 其中X表示触角长；y表示翼长． • 分类规则：设一个蚊子的数据为（x, y）, • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
• （5）神经网络可以用大规模集成 电路来实现．如美国用 256个神经 元组成的神经网络组成硬件用于识 别手写体的邮政编码．
四、反向传播算法（B-P算法）
• Back propagation algorithm
• 算法的目的：根据实际的输入与输出数据， 计算模型的参数（权系数）
• 1．简单网络的B-P算法
• （1）可处理非线性
• （2）并行结构．对神经网络中的每一个神经元来 说；其运算都是同样的．这样的结构最便于计算 机并行处理． • （3）具有学习和记忆能力．一个神经网络 可以通过训练学习判别事物；学习某一种规 律或规则．神经网络可以用于联想记忆．
• （4）对数据的可容性大．在神经网络中 可以同时使用量化数据和质量数据（如 好、中、差、及格、不及格等）．
a0 ( j )
表示输入的第j个分
• 在上述假定下网络的输入输出关系可以表示为：
N0 u1 (i) w1 (i, j )a 0 ( j ) 1 (i), j 1 1 i N1 , a1 (i) f (u1 (i)), N1 u 2 (i) w2 (i, j )a1 ( j ) 2 (i ), j 1 a (i) f (u (i)), 1 i N2 , 2 2 .......... .......... .......... ......... N L 1 u L (i) wL (i, j )a L 1 ( j ) L 1 (i), j 1 a L (i) f (u L (i)), 1 i NL,
（2）网络说话
• 人们把一本教科书用网络把它读出来（当然需 要通过光电，电声的信号转换）；开始网络说 的话像婴儿学语那样发出“巴、巴、巴”的声 响；但经过B－P算法长时间的训练竟能正确读 出英语课本中 90％的词汇． • 从此用神经网络来识别语言和图象形成一个新 的热潮．
4、人工神经网络的基本特点
m
例如，若记
z wi xi
i 1
m
• 取激发函数为符号函数
1, x 0, sgn( x) 0, x 0.
则
1, y f ( z) 0,
w x w x
i 1 i i 1 m i
m
i
, ,
i
• S型激发函数：
1 f ( x) , x 1 e
(i)) 1）
( p) l
(i) f (u
'
( p) l
(i))
j 1
Nl 1
( p) l 1
( j)w
( p 1) l 1
( j, i)
（12）
1 l L 1.
BP算法 • Step1 • 选定学习的数据,p=1,…,P, 随机确定初始
（7）
• 其中表示第k层第i个元的阈值.
• 定理2 对于具有多个隐层的前馈神经网络；设激发函数 为S函数；且指标函数取
E
E
p 1
P
p
（8）
1 ( p) ( p) 2 E p (t (i) a L (i)) 2 i 1
NL
（9）
• 则每个训练循环中按梯度下降时；其权重迭代公式为
权矩阵W（0）
• Step2
用学习数据计算网络输出
• Step3
• 用（10）式反向修正,直到用完所有学 习数据.
w (i, j) w (i, j) a ( j),
( p) l ( p) ( p) l l 1
l 1,...,L,
• 五．应用之例：蚊子的分类
• 已知的两类蚊子的数据如表1：
w (i, j) w
( p) l
( p1) l
(i, j) a ( j),
( p) ( p) l l 1