权矩阵及其所含的向量都是模式。
空间模式与时空模式
网络在某一时刻的状态所确定模式称为空间模式
以时间维为轴展开的空间模式系列称为时空模式
他们如同一幅画面与整个电影的关系
当研究稳定性和网络训练的收敛过程时涉及时空模式
一般情况下，只涉及空间模式
人工神经网络的训练
人工神经网络的学习过程就是对它的训练过程 训练：
生物神经元的六个基本特征
1、神经元及其联结
2、联结强度决定信号传递的强弱 3、联结强度可以随训练而改变 4、信号可以是刺激作用的，也可以是抑制的 5、一个神经元接受的信号的累积效果决定 该神经元的状态
6、每个神经元可以有一个“阈值”
神经网络的定义
神经网络是一个由大量简单的处理单元组成的高
度复杂的大规模非线性自适应系统
连续多输出感知器
x1 x2 xn w11 o1 o2 om
输出函数改为非解跃函数，使它们的输出值变成连续的， 使网络更具一般性，更容易适应实际应用的需求，但拓扑 结构仍然不变。
连续多输出感知器训练算法
1、用适当的小伪随机数初始化权向量W; 2、设置精度控制参数 ,学习率 、精度控制变量d=1+ 3、while d>= do 3.1、d=0； 3.2、for 每个样本(X,Y) do； 3.2.1、输入X 3.2.2、求O=F(XW) 3.2.3、修改权矩阵W for i=1 to n, j=1 to m do wij= wij + (yj-oj)xi 3.2.4、累积误差 for j=1 to m do d=d+(yj-oj)2
离散单输出感知器(M-P模型)训练算法
1、初始化权向量W;
2、重复下列过程，直到训练完成；
2.1、对每一个样本，重复下列过程：
2.1.1、输入X； 2.1.2、计算O=F(XW)； 2.1.3、如果输出不正确，则 当O=0时，取W=W+X 当O=1时，取W=W-X
离散多输出感知器
x1 x2 xn 设输入：X=(x1 , x2 , … , xn) 设理想输出：Y=(y1 , y2 , … , ym) 设实际输出：YO=(o1 , o2 , … , om) w11
o1
o2
om
设权系数矩阵：W=(wij) 样本集为：{(X,Y)|X为输入向量，Y为对应输出向量}
离散多输出感知器训练算法
1、初始化权向量W; 2、重复下列过程，直到训练完成； 2.1、对每一个样本，重复下列过程： 2.1.1、输入X； 2.1.2、计算O=F(XW)； 2.1.3、for i=1 to m 执行如下操作 if oi不等于yi then if oi=0 then for j=1 to n wij= wij +xi else for j=1 to n wij= wij -xi
输入样本向量
调整权矩阵 将样本集的内涵以联结权矩阵的方式存储起来
使网络接收输入时，可以给出适当的输出
人工神经网络的无导师训练
其训练集中只含一些输入向量，训练算法致力于修 改权矩阵，以使网络对一个输入能够给出相容的输 出，即相似的输入向量可以得到相似的输出向量。
无导师训练算法用来将训练样本集合中蕴涵的统计 特性抽取出来，并以联结权矩阵的方式存储起来， 使网络可以按照网络向量的相似性进行分类。
它由处理单元及称为联结的无向信号通道互连而成
神经网络模拟人脑的四个方面
1、物理结构：人脑神经细胞约1010~1011个
2、计算模拟：大规模并行处理
3、存储与操作：信息分布存放，容错、联想能力强 4、训练：从实践中获取知识----学习算法
构造人工神经元的要求
神经元是构成神经网络的最基本单元 要构造神经网络必须先构造人工神经元
设网络有n层，第h(1<=h<=n)层神经元的个数为Lh, 该层神经元的激活函数用Fn表示 联结矩阵用W(h)表示
输入向量和输出向量的维数由问题直接决定， 而层数和各层神经元的个数则与问题相关
目前还很难确定它们与问题类型和规模的关系，
隐藏层数及其神经元个数的增加不一定能够提高网络 精度和表达能力。BP网一般都选二级网络。
X=(x1 , x2 , … , xn) W=(w1, w2, …, wn) x1 w 1 x2 w2 wn xn
神经元网络输入：
net=xiwi net=XW

net=XW
激活函数(激励函数、活化函数)
每个生物神经元有一个阈值，当输入信号累加效果 超过阈值时，神经元处于激活状态，否则处于抑制 状态。
o net
0
人工神经元，M-P模型
将基本模型和激活函数合在一起就构成了人工神经元
这就是著名的McCulloch-Pitts模型，M-P模型 也称处理单元PE x1 w 1 x2 w2 wn xn

net=XW
o=f(net)
人工神经网络的简化画法
用节点代表神经元，加权有向边代表从神经元到
神经元之间的有向联结，权代表联结强度，箭头 代表信号的传递方向。
层数：网络输入层的层号 第j-1层到第j层的联结矩阵称第j层联结矩阵，记W(j)
非线性激活函数
非线性激活函数在多级网络中其着非常重要的作用。 如果采用线性激活函数，则多级网的功能不会超过 单级网的功能。
网络模式的概念
所有的信息都是以模式的形式表现出来的。 输入向量是模式； 输出向量是模式； 同层神经元的某一时刻的状态是模式； 所有神经元的某一时刻的状态是模式；
从而有
O=F(NET)
多级网
研究表明，单级网的功能是有限的Fra bibliotek适当增加网络 的层数是提高网络计算能力的一个途径。
x1 x2
xn
. . .
o1 o2 om
多级网的几个约定
输入层：只起到输入信号的扇出作用，不记入层数。 第j层：第j-1层的直接后续层。
输出层：网络的最后一层，具有最大层号， 负责输出网络的计算结果。 隐藏层：网络输入层与输出层以外的层
生物神经网络工作机理1
• 在突触的接受侧，信号被送入胞体，在胞体内 进行综合，有的信息起刺激作用，有的起抑制 作用，当胞体中接受的累加刺激超过一个阈值 时，胞体被激发，此时它沿轴突通过树突向其 它神经元发出信号。
生物神经网络工作机理2
• 一个神经元沿轴突通过树突发出的信号是相同 的，而这个信号可能对接受它的不同神经元有 不同的效果，这一效果主要有突触决定：突触 的“联结强度”越大，接受的信号就越强，反 之，就越弱。 • 突触的“联结强度”可以随系统受到的训练而 被改变。
f’(net)=o(1-o)
x1 w 1 x2 w2 wn xn

net=XW
o=f(net)
BP网络的构成—网络的拓扑结构
BP算法适用于非循环多级网络的训练
x1 x2 xn . . .
o1
o2
om
但在说明BP算法的具体原理时，只需一个二级网络
x1 x2 xn o1 o2 om
BP网络拓扑结构的几点注意事项
W=(w1, w2, …, wn) 神经元网络输入： net=xiwi net=XW x1 w 1 x2 w2 wn xn
net=XW

BP网络的构成—神经元的激励函数
按照算法要求，神经元的激励函数必须是处处可导的
o
通常取S型函数：
1 1+e-net
net (0,0.5) (0,0)
o=f(net)=
生物神经元
生物神经网络
• 生物神经系统是由大量神经细胞（神经元）组 成的一个复杂的互联网络。据统计，人类大脑 约有1010－1011个神经元，每个神经元与103－ 105个其它的神经元互相连接，从而构成一个 极为庞大复杂的网络。神经元的结构总体来讲 可分为三个部分：胞体（Soma），树突 （Dendrites）和轴突（Axon）。
有导师训练算法要求给出输入向量的同时，还必须 给出相应的理想输出向量。它们构成一个“训练对” [(A1,B1), (A2,B2),…, (An,Bn)]
有导师训练算法
1、从样本集中取出一个样本(Ai,Bi)；
2、计算网络的实际输出O；
3、求D=Bi-O；
4、根据D调整权矩阵W；
5、对每个样本重复上述过程，直到对整个样本集来 说，误差不超过规定范围
人工神经元应是简单实现的数学模型 人工神经元应该能模拟生物神经元的工作机理
人工神经元的构造方法
对于每个神经元，它可以接受来自系统其他 神经元的输入信号
每个输入信号对应一个权，相当于突触的“联结强度”
所有输入的加权和决定该神经元的激活状态
人工神经元的网络输入
1、设n个输入分别为x1 , x2 , … , xn，对应的权分别为 w1, w2, …, wn，即有输入向量和权向量：
简单单级网
输入层的神经元不对输入信号做任何处理，它们只 起到对输入向量X的扇出作用。
x1 x2 o1 o2 om 简单单级网
w11
xn
简单单级网的输入输出
w11 w12 … w1m w2m wnm
权矩阵： W=(wij)= w21 w … 22
wn1 wn2 …
输入层第j个神经元的网络输入为：
netj =x1w1j+x2w2j+…+xnwnj NET= (net1 , net2 ,… netm )
Wij(t+1)=Wij(t)+ß (yj-bj)oi(t)
离散单输出感知器(M-P模型)
x1 w 1 x2 w2 wn xn
设输入：X=(x1 , x2 , … , xn)
o=f(net) (解跃函数)
设权向量：W=(w1, w2, …, wn)
训练样本：[（X,Y）|X为输入向量，Y为与X对应的输]