4.1.1人工神经网络三要素
人工神经网络是对生物神经系统的某种抽象、简化与模拟，是由许多并行互联的相同神经元
模型组成。网络的信息处理由神经元之间的相互作用来实现;知识与信息存储在处理单元相
互间的物理连接上;网络的学习和识别决定于各神经元连接权系数的动态演化过程。一个神
经网络模型描述了一个网络如何将它的输入矢量转化为输出矢量的过程。通常，神经网络模
型由网络模型的神经元特性、拓补结构和学习或训练规则三个要素确定。
一、神经元特性
作为神经网络基本单元的神经元模型也有其三个基本要素:l)一组连接权;2)一个求和单元:3)
一个非线性激励函数。神经元是神经网络的基本处理单元，它一般是多输入单输出的非线性
器件，其结构模型如图4一1所示。

式中jx(1,2,,)jp为输入信号，kjw(1,2,,)jp为神经元j到神经元k的连接权值，
1pkkjjjuwx


为线性组合结果，k为阈值。为神经元激励函数，ky为神经元的输出。

1. 激活函数 (Activation Functions)
(1) 线性激活函数
xxpurelinxf)()(

(2) 硬限幅激活函数



0 ,00 ,1)lim()(x
x

xhardxf

x
（3）对称的硬限幅激活函数



0 ,10 ,1 )(lim)(x
x

xshardxf

（4）
Sigmoid (S形)激活函数

xexsigxf
1

1
)(log)(
，0

具有平滑和渐进性，并保持单调性，参数可控制其斜率。
)(xf
性质：无穷阶光滑 ),lim()(xhardxf

二、神经网络结构
神经网络由大量并行分布的神经元广泛互联构成。网络的拓补结构是神经网络的一个重要特
征，从连接方式看神经网络结构主要有两种。
(l)前馈型网络
前馈网络中神经元是分层排列的，每个神经元只与前一层的神经元相连。输
入层和输出层与外界相连，其它中间层称为隐层，隐层可为一层或多层。除了通
用的前馈网络外，还存在其变型，如前馈内层互连网络，网络在同一层内相互连
接，互相制约，从外部看还是一个前馈网络，很多自组织网络存在此种结构。
单隐层网络：常用；三、四层网络：特殊的目的；四层以上网络：罕见。

(2)反馈型网络
所有节点都是计算单元，也可接受输入，并向外界输出。网络的任意两个神经元之间都可能
存在连接，信息在各神经元之间反复传递至趋于某一稳定状态。
三、神经网络的学习方法
1、学习方式
网络的学习可以分为3种基本类型:1)网络权值的学习;2)网络节点函数的
学习;3)网络拓补结构的学习。其中，网络权值的学习最为简单，目前大多数文
献中所谓的网络学习指的就是网络权值的学习。下文的介绍也围绕网络权值的
学习进行。学习的过程就是按某种预定的度量通过调节自身参数(如权值)来达到
性能改养的过程。学习方式有三种:
(l)监督学习(有教师学习)

输入层
隐层

输出层

……
……
……
这种学习方式需要外界存在一个“教师”，它可对给定一组输入提供应有的
输出结果，这组己知的输入一输出数据称为训练样本集，学习系统(神经网络)根据
己知输入与实际输出之间的差值(误差信号)来调节系统参数。

（2）非监督学习(无教师学习)
非监督学习不存在外部教师，学习系统完全按照环境提供数据的某些统计规
律来调节自身参数或结构，以表示出外部输入的某种固有特性。
(3)再励学习(强化学习)

这种学习介于上述两种情况之间，外部环境对系统输出结果只给出评价信息
(奖或惩)而不给出正确答案，学习系统通过强化受奖的动作来改善自身的性能。

2、学习算法
(l)误差纠正学习

神经网络的误差信号为()()()kkkendnyn

式中()kdn为理想输出，()kyn为实际输出。误差纠正学习的最终目的是使某一基于误
()ken
的目标函数达到最小，使网络中每个输出单元的实际输出在某种统计意义上逼近理想输出。
(2)Hebb学习
两个神经元之间的连接权，正比于两个神经元的活动值，当两神经元同为激活或同为抑制时，
该连接的强度应增强，反之减弱。
(3)竞争(eompetitive)学习
网络各输出单元相互竞争，原来输出单元中如有某一单元较强，它将获胜并抑制其它单元，
最后只有此强者处于激活状态。

环境 学习系统
输入
环境 教师
学习系统
输入

理想

输出
实际

输出

误差信号
+

—

学习系统 环境
评价
输出
动作
输入 状态
4.1.2人工神经网络的特点
人工神经网络在信息处理方面与传统的计算机相比有自身的优势:
(l)并行性。传统的计算方法是基于串行处理的思想发展起来的，计算和存储是完全独立的两
个部分。计算速度取决于存储器和运算器之间的连接通道，大大限制了它的运算能力。而神
经网络中的神经元之间存在大量的相互连接，所以信息输入之后可以很快地传递到各个神经
元进行并行处理，在值传递的过程中同时完成网络的计算和存储功能，将输入输出的映射关
系以神经元间连接强度(权值)的方式存储下来，其运算效率非常高。
(2)自学习、自组织性。神经网络系统具有很强的自学习能力，系统可以在学习过程中不断
地完善自己，具有创造性。
(3)联想记忆功能。在神经网络的训练过程中，输入端给出要记忆的模式，通过学习并合理
地调一节网络中的权系数，网络就能记住所有的输入信息。在执行时，若网络的输入端输入
被噪声污染的信息或是不完整、不准确的片断，经过网络的处理后，在输出端可得到恢复了
的完整而准确的信息。
(4)很强的鲁棒性和容错性。在神经网络中，信息的存储是分布在整个网络中相互连接的权
值上的，这就使得它比传统计算机具有较高的抗毁性。少数几个神经元损坏或断几处连接，
只会稍许降低系统的性能，而不至于破坏整个网络系统，因而具有强的鲁棒性和容错性。