1第八章人工神经网络吉林大学地面机械仿生技术教育部重点实验室 张锐28.1 神经网络的基本概念及组成特性8.1.1 生物神经元的结构与功能特性从广义上讲，神经网络通常包括生物神经网络与人工神经网络两个方面。

生物神经网络是指由动物的中枢神经系统及周围神经系统所构成的错综复杂的神经网络，它负责对动物肌体各种活动的管理，其中最重要的是脑神经系统。

人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的软、硬件处理单元，经广泛并行互连，由人工方式建立起来的网络系统。

生物神经元就通常说的神经细胞，是构成生物神经系统的最基本单元，简称神经元。

神经元主要由三个部分构成，包括细胞体、轴突和树突，其基本结构如图所示。

1. 生物神经元的结构生物神经元结构吉林大学地面机械仿生技术教育部重点实验室 张锐3从生物控制论的观点来看，作为控制和信息处理基本单元的神经元，具有下列一些功能与特性。

2. 神经元的功能特性（1）时空整合功能神经元对于不同时间通过同一突触传入的信息，具有时间整合功能；对于同一时间通过不同突触传入的信息，具有空间整合功能。

两种功能相互结合，使生物神经元具有时空整合的输入信息处理功能。

（2）神经元的动态极化性尽管不同的神经元在形状及功能上都有明显的不同，但大多数神经元都是以预知的确定方向进行信息流动的。

（3）兴奋与抑制状态神经元具有两种常规工作状态，即兴奋状态与抑制状态。

（4）结构的可塑性突触传递信息的特性是可变的，随着神经冲动传递方式的变化，其传递作用可强可弱，所以神经元之间的连接是柔性的，这称为结构的可塑性。

吉林大学地面机械仿生技术教育部重点实验室 张锐4（5）脉冲与电位信号的转换突触界面具有脉冲与电位信号的转换功能。

（6）突触延期和不应期突触对信息的传递具有时延和不应期，在相邻的两次输入之间需要一定的时间间隔，在此期间，不影响激励，不传递信息，这称为不应期。

（7）学习、遗忘和疲劳由于结构可塑性，突触的传递作用有增强、减弱和饱和，所以，神经细胞也具有相应的学习、遗忘或疲劳效应（饱和效应）。

8.1.2 人工神经网络的组成与结构人工神经网络（Artificial Neural Nets, ANN)是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。

这些处理单元称作人工神经元。

人工神经网络可以看成是以人工神经元为节点，用有向加权弧连接起来的有向图。

在有向图中，人工神经元就是对生物神经元的模拟，有向弧则是轴突－突触－树突对的模拟，有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。

1. 人工神经网络组成吉林大学地面机械仿生技术教育部重点实验室 张锐5如图所示为人工神经网络组成略图。

它由多个人工神经元相互连接组成。

图中，圆表示神经元的细胞体；x 表示该神经元的外部输入；w为该神经元分别与各输入间的连接强度，称为连接权值。

对ANN中的某个人工神经元来说，来自其他神经元的输入乘以权值，然后相加。

把所有总和与阈值电平比较，当总和高于阈值电平时，其输出为1；否则，输出为0。

吉林大学地面机械仿生技术教育部重点实验室 张锐6对于人工神经网络系统中的每个神经元来说，它可以接受一组来自系统中其他神经元的输入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活状态。

这里，每个权就相当于突触的“连接强度”。

2. 人工神经元的工作过程对于某个神经元来说，假设来自其他神经元i的信息为x i ，它们与本神经元的互相作用强度即连接权值为w i ，i=0,1,…,n-1，神经元的内部阈值为θ。

那么本神经元的输入为：∑−=1n i ii x w )(1∑−=−=n i i i x w f y θ神经元的输出为：式中，x i 为第i个元素的输入，w i 为第i个神经元与本神经元的互联权重。

f称为激发函数或作用函数，它决定神经元的输出。

神经元的输出为1或0取决于其输入之和大于或小于内部阈值θ。

令，称为激活值。

∑−=−=1n i i i x w θσ吉林大学地面机械仿生技术教育部重点实验室 张锐8分段线性函数可以看做是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。

但当达到最大值后，输出就不再增大。

这个最大值称做饱和值。

S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。

以它为激活函数的神经元也具有饱和特性。

双曲正切型函数实际只是一种特殊的S型函数，其饱和值是－1和1。

在人工神经网络中，各神经元的不同连接方式就构成了网络的不同连接模型。

3. 人工神经网络的结构常见的连接模型有：前向网络从输入层到输出层有反馈的网络层内有互联的网络网络内任意两个神经元都可以互联的互联网络。

吉林大学地面机械仿生技术教育部重点实验室 张锐9按网络的性能划分，可分为连续型和离散型网络，又可分为确定型和随机型网络；4. 人工神经网络的分类及其主要特征按网络的拓扑结构划分，可分为反馈网络和无反馈网络；按网络的学习方法划分，可分为有教师的学习网络和无教师的学习网络；按连接突触的性质划分，可分为一阶线性关联网络和高阶非线性关联网络；从不同的角度进行划分，神经网络模型可以得到不同的分类结果：人工神经网络具有以下主要特征：（1）能较好的模拟人的形象思维；（2）具有大规模并行协同处理能力；（3）具有较强的学习能力；（4）具有较强的容错能力和联想能力；（5）是一个大规模自组织、自适应的非线性动力系统。

吉林大学地面机械仿生技术教育部重点实验室 张锐118.2.2 单层感知器模型的学习算法Rosenblatt提出感知器模型中连接权值参数的学习算法，其基本思想为：首先把连接权和阈值初始化为较小的非零随机数；然后把有n个连接权值的输入送入网络；经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法进行自动调整；经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。

单层感知器具体学习算法（仅考虑只有一个输出的情况）：设x i (t)是时刻t感知器的输入(i=1,2,…,n)，ωi (t)是相应的连接权值，y(t)是实际的输出，d(t)是所期望的输出，且感知器的输出或者为1，或者为－1，则单层感知器的学习算法为：（1）初始化连接权和阈值。

给ωi(t) (i=1,2,…,n)及θ分别赋予一个较小的非零随机数，作为它们的初始值。

ωi(0)是时刻t=0时第i个输入的连接权值；θ是输出节点中的阈值。

吉林大学地面机械仿生技术教育部重点实验室 张锐12（2）输入一个训练参数X＝(x 1(t),x 2(t),…,x n (t))和期望输出d(t)。

（3）计算网络的实际输出（4）计算实际输出与期望输出的差值为DEL=d(t)-y(t)如果DEL<ε（ε是一个很小的正数），则网络训练学习结束；否则转第（5）步。

（5）调整连接权值为ωi (t+1)=ωi (t)+η[d(t)-y(t)]x i (t) (i=1,2,…,n)其中0<η≤1,是一个增益因子，用于控制修改速度，也称为增益或学习速度。

（6）返回（2）步。

上述算法表明，网络连接权值的学习是一个迭代过程，在第（2）步～第（6）步间反复进行，直到网络的实际输出与所期望的输出间的误差达到要求时为止。

这时，所得到的网络权值ωi (i=1,2,…,n)即是通过训练数据学习到的网络连接参数。

),...,2,1())()(()(1n i t x t f t y ni i i =−=∑=θω吉林大学地面机械仿生技术教育部重点实验室 张锐18B-P算法理论基础牢固，推导过程严谨，物理概念清晰及通用性好等优点，所以，它是目前用来训练前向多层网络较好的算法。

B-P算法也有一些缺点，主要表现在：（1）该学习算法的收敛速度慢，常常需要成千上万次的迭代，而且随着训练样例维数的增加，网络性能会变差。

（2）网络中隐节点个数的选取尚无理论上的指导。

（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。

当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。

所以，B-P算法是不完备的。

B-P学习算法在训练前向多层网路时，最重要的一步就是计算网络中各神经元间的连接权值修正量△W jk 。

为了计算△W jk ，在反向传播时δ的计算很重要。

下面举例说明反向传播时δ的计算方法。

8.3.3 反向传播计算的举例吉林大学地面机械仿生技术教育部重点实验室 张锐21离散网络模型是一个离散时间系统，每个神经元只有两种状态，可以用1和0来表示，由连接权值W ij 所构成的矩阵是一个对角线为0的对称矩阵，即⎩⎨⎧=≠=ji j i W W ij ij 若若0Hopfiled网络离散模型有两种工作模式：一种称为串行或异步方式，另一种称为并行或同步方式。

所谓串行方式，是指在任一时刻t，只有一个神经元i发生状态变化，而其余的神经元保持状态不变。

所谓并行方式，是指在任一时刻t，都有部分或全体神经元同时改变状态。

为了更好地用人工神经元模拟人脑神经元，1984年，Hopfield又提出了连续时间的神经网络，在这种神经网络中，个节点可在0～1的区间内取任一实数值。

Hopfield网络是一种非线性的动力网络，可通过反复的网络动态迭代来求解问题，这是符号逻辑方法所不具有的特性。

在求解某些问题时，其求解问题的方法与人类求解问题的方法很相似，虽然所求得的解不是最佳解，但其求解速度快，更符合人们日常解决问题的策略。

吉林大学地面机械仿生技术教育部重点实验室 张锐22（1）设置连接权值。

8.4.2 Hopfield 网络的学习算法⎪⎩⎪⎨⎧=≠=∑−=j i j i x x W m s s j s i ij 01010)0(−≤≤=n i x y ii 10))(()1(10−≤≤=+∑−=n j t y W f t y n i i ij j 其中，x i s 是s类样例的第i个分量，它可以为1或0，样例类别数为m，节点数为n。

（2）未知类别样本初始化。

其中，y i (t)为节点i在t时刻的输出，当t=0时，y i (0)就是节点i的初始值，x i 为输入样本的第i个分量。

（3）迭代直到收敛。

其中，f为阈值型激发函数。

该过程一直迭代到不再改变节点的输出为止。

这时各节点的输出与输入样例达到最佳匹配。

（4）转（2）步继续。

吉林大学地面机械仿生技术教育部重点实验室 张锐。