10
激活函数(激励函数、活化函数)
每个生物神经元有一个阈值，当输入信号累加效果 超过阈值时，神经元处于激活状态，否则处于抑制 状态。
希望人工神经元有一个更一般的变换函数，来执行 该神经元获得的网络输入的变换，这就是激活函数。
o=f(net)
xx2 1w2w1 xnwn

net=XW
o=f(net)
21
空间模式与时空模式
网络在某一时刻的状态所确定模式称为空间模式 以时间维为轴展开的空间模式系列称为时空模式 他们如同一幅画面与整个电影的关系 当研究稳定性和网络训练的收敛过程时涉及时空模式 一般情况下，只涉及空间模式
22
人工神经网络的训练
人工神经网络的学习过程就是对它的训练过程 训练：
输入样本向量 调整权矩阵 将样本集的内涵以联结权矩阵的方式存储起来 使网络接收输入时，可以给出适当的输出
无导师训练的Hebb算法
Wij(t+1)=Wij(t)+ßoi(t)oj(t)
其中： Wij(t+1)、 Wij(t)为神经元i联结到 神经元j的联结在t+1时刻和t时刻的强度
oi(t)、oj(t)为这两个神经元t时刻的输出，
ß为给定的学习效率。
25
人经元的网络输入
1、设n个输入分别为x1 , x2 , … , xn，对应的权分别为 w1, w2, …, wn，即有输入向量和权向量：
X=(x1 , x2 , … , xn)
W=(w1, w2, …, wn)
神经元网络输入： net=xiwi
xx2 1w2w1 xnwn

net=XW
net=XW
神经网络是一个由大量简单的处理单元组成的高 度复杂的大规模非线性自适应系统 它由处理单元及称为联结的无向信号通道互连而成
6
神经网络模拟人脑的四个方面
1、物理结构：人脑神经细胞约1010~1011个 2、计算模拟：大规模并行处理 3、存储与操作：信息分布存放，容错、联想能力强 4、训练：从实践中获取知识----学习算法
第j-1层到第j层的联结矩阵称第j层联结矩阵，记W( j) 19
非线性激活函数
非线性激活函数在多级网络中其着非常重要的作用。 如果采用线性激活函数，则多级网的功能不会超过 单级网的功能。
20
网络模式的概念
所有的信息都是以模式的形式表现出来的。 输入向量是模式； 输出向量是模式； 同层神经元的某一时刻的状态是模式； 所有神经元的某一时刻的状态是模式； 权矩阵及其所含的向量都是模式。
11
激活函数的种类
1、线性函数 2、非线性斜面函数 3、阈值函数，又称阶跃函数 4、S型函数
12
S型激活函数的特性
1、非线性 2、处处连续可导 3、有较好的增益控制—防止网络进入饱和状态
o
net 0
13
人工神经元，M-P模型
将基本模型和激活函数合在一起就构成了人工神经元 这就是著名的McCulloch-Pitts模型，M-P模型 也称处理单元PE
O=F(NET)
17
多级网
研究表明，单级网的功能是有限的，适当增加网络 的层数是提高网络计算能力的一个途径。
x1 x2
.
o1
.
o2
xn
. om
18
多级网的几个约定
输入层：只起到输入信号的扇出作用，不记入层数。 第j层：第j-1层的直接后续层。 输出层：网络的最后一层，具有最大层号，
负责输出网络的计算结果。 隐藏层：网络输入层与输出层以外的层 层数：网络输入层的层号
23
人工神经网络的无导师训练
其训练集中只含一些输入向量，训练算法致力于修 改权矩阵，以使网络对一个输入能够给出相容的输 出，即相似的输入向量可以得到相似的输出向量。
无导师训练算法用来将训练样本集合中蕴涵的统计 特性抽取出来，并以联结权矩阵的方式存储起来， 使网络可以按照网络向量的相似性进行分类。
24
o2
xn
om
简单单级网 16
简单单级网的输入输出
w11 w12 … w1m
权矩阵： W=(wij)= w21 w22 … w2m
wn1 wn2 … wnm
输入层第j个神经元的网络输入为：
从而有
netj =x1w1j+x2w2j+…+xnwnj NET= (net1 , net2 ,… netm )
生物神经元
1
生物神经网络
• 生物神经系统是由大量神经细胞（神经元）组 成的一个复杂的互联网络。据统计，人类大脑 约有1010－1011个神经元，每个神经元与103 －105个其它的神经元互相连接，从而构成一 个极为庞大复杂的网络。神经元的结构总体来 讲可分为三个部分：胞体（Soma），树突 （Dendrites）和轴突（Axon）。
2
生物神经网络工作机理1
• 在突触的接受侧，信号被送入胞体，在胞体内 进行综合，有的信息起刺激作用，有的起抑制 作用，当胞体中接受的累加刺激超过一个阈值 时，胞体被激发，此时它沿轴突通过树突向其 它神经元发出信号。
3
生物神经网络工作机理2
• 一个神经元沿轴突通过树突发出的信号是相同 的，而这个信号可能对接受它的不同神经元有 不同的效果，这一效果主要有突触决定：突触 的“联结强度”越大，接受的信号就越强，反 之，就越弱。
• 突触的“联结强度”可以随系统受到的训练而 被改变。
4
生物神经元的六个基本特征
1、神经元及其联结
2、联结强度决定信号传递的强弱
3、联结强度可以随训练而改变
4、信号可以是刺激作用的，也可以是抑制的
5、一个神经元接受的信号的累积效果决定 该神经元的状态
6、每个神经元可以有一个“阈值”
5
神经网络的定义
xx21ww2 1 xnwn

net=XW
o=f(net)
14
人工神经网络的简化画法
用节点代表神经元，加权有向边代表从神经元到 神经元之间的有向联结，权代表联结强度，箭头 代表信号的传递方向。
15
简单单级网
输入层的神经元不对输入信号做任何处理，它们只 起到对输入向量X的扇出作用。
x1
w11
o1
x2
7
构造人工神经元的要求
神经元是构成神经网络的最基本单元 要构造神经网络必须先构造人工神经元 人工神经元应是简单实现的数学模型 人工神经元应该能模拟生物神经元的工作机理
8
人工神经元的构造方法
对于每个神经元，它可以接受来自系统其他 神经元的输入信号 每个输入信号对应一个权，相当于突触的“联结强度” 所有输入的加权和决定该神经元的激活状态