《神经网络》讲稿主讲人：谷立臣教授2003年9月第1章基本概念♦作为自然实例的人脑♦人工神经元模型●人工神经网络的拓扑结构及其学习规则♦神经网络的学习策略♦人工神经网络与生物神经网络的比较♦人工神经网络的发展与现状♦人工神经网络与自动控制♦人工神经网络与设备故障诊断♦参考文献♦脑神经生理学家告诉我们:人脑借以记忆与思维的最基本单元是神经元,其数量约为个;♦每一神经元约有个突触;♦神经元间通过突触形成的网络，传递着彼此间的兴奋与抑制；全部大脑神经元构成拓扑上极其复杂的网络群体，由这一网络群体实现记忆与思维。

见图1－1。

111210~103410~10每一个神经元包括细胞体（Cell body或Soma）和突起（Process）两部分。

◆细胞体是神经元新陈代谢的中心，还是接收与处理信息的部件◆突起有两类，即轴突(Axon)与树突(Dendrite)。

轴突的长度相差很大，长的可达1米。

轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其他神经元发送出生物信息，在轴突中电脉冲的传导速度可达到10～100米／秒。

另一类突起——树突（输入），一般较短，但分枝很多，它能接收来自其他神经元的生物电信号，从而与轴突一起实现神经元之间的信息沟通。

突起的作用是传递信息。

◆通过“轴突---突触――树突”这样的路径，某一神经元就有可能和数百个以至更多的神经元沟通信息。

那些具有很长轴突的神经元，更可将信息从一脑区传送到另一脑区。

♦绝大多数神经元不论其体积﹑形状﹑功能如何，不论是记忆神经元还是运动神经元，均可分为一个输入（或感知）器官，一个代数求和器官，一个长距离传递器官和一个输出器官。

见图1－2。

♦既然所有神经元的功能均是相近的，那么何以实现复杂的功能呢？答案是：无一功能是由单个神经元实现的，而是由许多神经元以不同的拓扑结构所共同产生的。

这一平行处理性提高了神经网路系统的冗余度与可靠性。

基于对大脑组织特征的认识及一些生理实验，可以归纳出如下一些大脑神经网络处理信息的特点：♦分布存储与冗余性♦并行处理♦信息处理与存储合一♦可塑性与自组织性♦鲁棒性♦一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到许多神经元中进行记忆。

而且每个神经元实际上存储着多种不同信息的部分内容。

在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。

网络的冗余性导致网络的存储具有容错性，即其中某些神经元受到损伤或死亡时，仍不至于丢失其记忆的信息。

信息在神经网络中的记忆，主要反映在神经元的突触连接强度上。

♦神经网络并行处理的含义不同于目前的并行处理机，它不是简单地“以空间的复杂性为代价来求得时间上的快速性”，而是反映了根本不同的操作机理。

神经网络既是处理器，又是存储器。

♦人们从未发现大脑皮层中记忆和处理分别属于不同区域的情况，这是因为每个神经元都兼有信息处理和存储的功能。

神经元之间突触连接强度的变化既反映了神经元对激励的响应，即信号处理过程，同时其响应结果又反映了信息的记忆。

这种和二为一的优点对于提高网络信息处理的速度和智能是至关重要的。

♦网络的高连接度意味着一定的误差和噪声不会使网络的性能恶化，即网络具有鲁棒性。

♦大脑的记忆是由环境的刺激在神经元之间形成新的突触连接，或者使原来就有的突触连接加强而形成的。

能形成和改变神经元之间突触连接的现象称为可塑性。

由于环境的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为神经系统的自组织性。

由此可见，可塑性是学习和记忆的基础。

♦生物神经元是一个多输入（即它的多个树突和细胞体与其他多个神经元轴突末梢突触连接）﹑单输出单元（每个神经元只有一个轴突作为输出通道），沿神经元轴突传递的信号是脉冲，其等效模型如图1－3所示。

♦从图中可以看出人脑神经系统的工作原理：外部刺激信号或上级神经元信号合成后由树突传给神经元细胞体处理，最后由突触输出给下级神经元或作出响应。

树突突触细胞体轴突输入输出图1-3 生物神经元等效模型♦常用的人工神经元模型主要是基于模拟上述的生物神经元信息的传递特性，即输入﹑输出关系。

如果将生物神经元输入﹑输出脉冲的密度用模拟电压来表示，则上述生物神经元信息传递的主要特性可以用图1－4的模型来模拟。

♦图中，为加在输入端（突触）上的输入信号；为相应的突触连接权系数，它是模拟突触传递强度的一个比例系数；Σ表示突触后信号的空间累加；⊙表示神经元的阈值，表示神经元的响应函数。

该模型的数学表达式为：i x (i=0,1,2,L,n-1)i w f[]011n X X X -011n W W W -θ-Y ∑()f •图1-4 人工神经元模型n 1i i i 0net w x y f (net)===-θ=∑通常被称为响应函数（或变换函数）f[]θθ通常被称为响应函数（或变换函数）。

n 1i i i 0net w x y f (net)===-θ=∑f[]根据响应函数的不同，人工神经元有以下几种类型：♦⑴阈值函数(硬限幅函数﹑阶跃函数)其响应函数如图1－5(a)所示♦⑶sigmoid 函数（函数）在实际的神经网络中，常取为1。

其响应函数如图1－5(c)所示♦⑵线性函数其响应函数如图1－5(b)所示♦⑷双曲正切函数其响应函数如图1－5(d)所示1,x 0f (net)0,x 0≥⎧=⎨<⎩δλx 1f (x)1e -λ=+f (x)kx =f (x)th(x)=β常见神经元激活函数线性型f (x ) = x符号型Sigmoid 型1()1x f x e-=+10()10x f x x >⎧=⎨-≤⎩图1－7 常见神经元响应函数♦神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构（topology）及学习方法。

（拓扑(结构)，拓扑学The physical or logical placement of nodesin a computer network.计算机网络中各个网点的物理或逻辑布局）。

人工神经网络连接的几种基本形式，如图1－6所示。

♦⑴前向网络。

网络的结构如图1－6（a）所示。

♦⑵从输出到输入有反馈的前向网络。

网络的结构如图1－6（b）所示。

♦⑶层内互联前向网络。

网络的结构如图1－6（c）所示。

♦⑷互联网络。

网络的结构如图1－6（d）所示。

前向网络:网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。

最上一层为输出层，隐含层可以是一层或多层。

前向网络应用很广泛（如感知器﹑BP﹑RBF网络）。

•人工神经网络的拓扑结构前向神经网络从输出到输入有反馈的前向网络: 网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路，如ART 网络。

层内互联前向网络:通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经元数，或者把层内神经元分为若干组，让每组作为一个整体来动作。

一些自组织竞争型神经网络就属于这种类型。

互联网络:互联网络有局部互联和全互连两种。

全互连网络中的每个神经元都与其他神经元相连。

局部互联是指互联只是局部的，有些神经元之间没有连接关系，如Hopfield网络。

全互联网络人工神经网络的学习规则人工神经网络最有价值的特性就是它的自适应功能，这种自适应功能是通过所谓的学习或训练实现的人工神经网络的学习规则可分为如下几种：•相关规则：仅依赖于连接间的激活水平改变权重，如Hebb规则及其各种修正形式等•纠错规则：依赖于输出节点的外部反馈改变网络权重，如感知器学习规则、δ规则等•竞争学习规则：类似于聚类分析算法，学习表现为自适应于输入空间的事件分布，如矢量量化算法、SOM算法、以及的ART训练算法•随机学习规则：利用随机过程、概率统计和能量函数的关系来调节连接权，如模拟退火（SimulatedAnnealing）算法。

此外,基于生物进化规则的基因遗传（Genetic Algorithm GA）算法在某种程度上也可视为一类随机学习算法。

神经网络的学习规则多种多样，可归结为以下两类：•有指导学习•无指导学习•有指导学习不但需要学习用的输入事例，同时还要求与之对应的表示所需期望输出的目标矢量。

进行学习时，首先计算一个输入矢量的网络输出，然后同相应的目标输出比较，比较结果的误差用来按规定的算法改变加权。

如上述纠错规则以及随机学习规则就是典型的有指导学习。

•无指导学习不要求有目标矢量，网络通过自身的“经历”来学会某种功能，在学习时，关键不在于网络实际输出怎样与外部的期望输出相一致，而在于调整权重以反映学习样本的分布，因此整个训练过程实质是抽取训练样本集的统计特性。

如纠错规则和竞争学习规则。

•在工程实践中，有指导学习和无指导学习并不是相互冲突的，目前已经出现了一些融合有指导学习和无指导学习的训练算法。

•如在应用有指导学习训练一个网络后，再利用一些后期的无指导学习来使得网络自适应于环境的变化。

♦一个神经网路的拓扑结构确定之后，为了使它具有某种智能特性，还必须有相应的学习方法与之配合。

可以这样说，学习方法是人工神经网络研究中的核心问题。

♦学习方法归根结底就是网络连接权的调整方法。

人工神经网络连接权的确定通常有两种方法：一种是根据具体要求直接计算出来，如Hopfield网络作优化计算时就属于这种情况；另一种是通过学习得到的，大多数人工神经网络都用这种方法。

♦人工神经网络中一些基本的﹑通用的学习规则主要有：⑴Hebb学习规则⑵学习规则⑶相似学习规则Hebb 学习规则:它是Donall Hebb 根据生理学中条件反射机理。

于1949年提出的神经元连接强度变化的规则。

其内容为：如果两个神经元同时兴奋（即同时被激活），则它们之间的突触连接加强。

如果用,表示神经元i 和j 的激活值（输出），表示两个神经元之间的连接权，则学习规则可以表示为这里a 表示学习速率。

Hebb 学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb 学习规则的变形。

i v j v ij w ij i jw av v学习规则这种方法是用已知样本作为教师对网络进行学习，又称误差校正规则。

设为输入﹑输出样本对，，。

把作为网络的输入，在连接权的作用下，可得网络的的实际输出。

设神经元i 到神经元j 的连接权为，则权的调整量为式中，a 为学习速率；为误差（即期望输出与实际输出之差）；为第i 个神经元的输出。

函数根据具体情况而定。

δk k (X ,Y )(k 1,2,,p)=k T 12m Y [y ,y ,,y ]=k 12n X [x ,x ,,x ]=k X k 12m Y [y ,y ,,y ]=ij w ij j i j j j w a v F(y y )=δδ=-i i y y -i v F[]相似学习规则:设为从神经元i 到神经元j 的连接权，为神经元i 的输出，则连接权的调整为在这种学习中，是使趋近于的值。