当前位置:文档之家› 神经网络

神经网络

人工神经网络概念人工神经网络(ArtificialNeuralNetwork,简称ANN)是人工智能领域中的一个重要分支,它是由大量的、简单的处理单元(或称神经元)广泛地互连成网络系统。

它反映了人脑智能的许多基本特征,但并不是人脑神经元联系网的真实写照,而只是对其作某种简化、抽象和模拟。

人工神经网络是由各种神经元按一定的拓扑结构相互连接而成的,它通过对连续的和间析的输入做出状态反馈而完成信息处理工作。

神经网络有许多种类型,主要有前向型、反馈型、随机型和自组织竞争型等。

其中前向型神经网络是数据挖掘中广为应用的一种网络,其原理或算法也是其他一些网络的基础。

比较成熟的有BP神经网络、径向基函数(RBF)神经网络等。

人工神经元模型人工神经网络结构和工作机理基本上是以人脑的组织结构(大脑神经元结构)和活动规律为背景的,参照生物神经元网络发展起来的人工神经元网络现己有许多种类型,但是它们中的基本单元一一神经元的结构是基本相同的〔27]。

人工神经元是生物神经元的模拟与抽象;按照生物神经元的结构和工作原理,构造一个人工神经元如图3一1所示。

人工神经元是人工神经网络的基本单元,从图中可以看出,它相当于一个多输入单输出的非线性闭值器件。

定义表示其他神经元的轴突输出,亦即该神经元的输入向量表示其他神经元与该神经元R个突触的连接强度,亦即权值向量,其每个元素的值可正可负,分别表示为兴奋性突触和抑制性突触,为神经元的闭值,如果神经元输入向量的加权和大于。

,则该神经元被激活,所以渝入向量的加权和也称为激活值;f表示神经元的输入输出关系函数,称为激活函数或传输函数。

因为激活值越大,表示神经元的膜电位总和越大,该神经元兴奋所发放的脉冲越多,所以传输函数一般为单调升函数。

但它又是一个有限值函数,因为神经元发放的脉冲数是有限的。

这样,神经元的输出可以表示为神经元图3一1人工神经元模型图激活函数有许多种类型,根据输出输出特性不同,可用不同的激活函数。

激活函数是神经元网络的核心,网络解决问题的能力与效果除了与网络结构有关,在很大程度上取决于网络所采用的激活函数,其中常用的有以下几种:(l)阶跃函数(3一2)(2)符号函数(3一3) (3)线性型激活函数(3一4)(4)Sigmoid型激活函数(3一5) (5)双曲正切函数(3一6)人工神经网络的结构只有上亿个生物神经元连接而成生物神经网络,才能完成对外部感知信息进行的处理、记忆、学习等。

同样,单个人工神经元往往不能完成对输入信号的处理,它要按一定的规则连接成网络,并让网络中的每个神经元的权值和闭值按一定的规则变化,才能实现所设计神经网络的功能要求。

人工神经网络的连接形式和其拓扑结构多种多样,但总的来说有两种形式,即分层型和互连型网络。

分层型神经网络的拓扑结构如图3一2所示,它又分为简单前馈网络、反馈型前馈网络和内层互连前馈网络。

分层型神经网络将所有神经元按功能分为昔干层,一般有输入层、中间层和输出层,各层顺序连接。

因为中间层不直接与外部输入和输出打交道,所以又称为隐层。

根据处理功能的不同,隐层可以有多层(一般不超过两层),也可以没有。

神经网络的学习方式人工神经网络的学习过程,实际上就是设节权值和阂值的过程。

人们提出了多种神经网络的学习方法,其中主要有以下几种形式:1、有教师学习(监督学习)有教师学习是在有“教师”指导和考察的清况下进行学习的方式,如图3一4所示。

这种学习方式,“教师”给出了与所有输入模式P对应的输出模式的“正确答案”,即期望输出t(目标),用于学习过程的输入输出模式的集合称为训练样本集;神经网络学习系统根据一定的学习规则进行学习,每一次学习完成后,“教师”都要考察学习的结果,即实际输出a与期望输出t的差别(误差e),以此决定网络是否需要再次学习,并根据误差信号调整学习的过程,使网络实际输出和期望输出的误差随着学习的反复进行而逐渐减小,直至达到要求的性能指标为止。

2、无教师学习(无监督学习)无教师学习不存在“教师”的指导和考察,是靠神经网络本身完成的,如图3一5所示。

由于没有现成的信息作为响应的校正,学习则是根据输入的信息,根据其特有的网络结构和学习规则来调整自身的参数或结构(这是一种自学习、自组织过程),从而使网络的输出反应输入的某种固有特性(如聚类或某种统计上的分布特征)。

BP 网络( Back-P ropagat io n net w ork) 即反向传播网络, 属于多层结构, 前馈式, 如图 1 所示。

它是一种实用网络模型, 其学习算法采用的是新颖的反向传播算法, 基本思想是构造一个类似于感知机的非线性系统, 并让该系统的决策能力与最小均方误差函数和梯度下降联系起来, 从而解决了普遍存在的多层神经网络的学习不易收敛问题, 在许多方面得到实际应用, 是现今网络界应用较广,实用程度较高, 较受瞩目的一类。

BP神经元与其它神经元类似,不同的是BP而申经元的传输函数为非线性函数,最常用的函数是109519和tansig函数,有的输出层也采用线性函数(purelin)。

其输出为BP神经元模型如图3一6所示。

BP 网络的结构及特点标准的BP网络由 3 层次组成, 最下面一层神经元组成了输入层, 此层的主要作用是接收输入矢量, 在此, 设输入矢量为此层神经元个数为n1, 其输出矢量为X′∈R。

中间一层为隐含层, 共由n2 个神经元组成,接受由输入层神经元的输出矢量X″, 其输出矢量为。

最上一层为输出层, 共由m 个输出神经元组成, 接受来自隐含层的输出矢量X″, 其输出矢量为Y∈Rm,y = ( y 0, y 1 , , ym - 1)T。

在输入矢量和输入层之间的权值为Wij, 阈值为Hj, 0≤i≤n, 0≤j < n1。

在输入层和隐含层之间的权值为W′j k, 阈值为H′k, 0≤k < n2。

在隐含层和输出层之间的权值为W′kl, 阈值为H′1 , 0≤l< m。

BP网中的每个神经元的输入输出采用非线性变换, 其输出函数是采用连续可微的S 型函数, 即:凝汽器典型故障及征兆表1 为用于BP 网络训练的、分别对应于凝汽器及其系统11 种典型故障的征兆集和训练样本的目标输出。

在征兆集中, “1”表示征兆存在,“0”表示征兆不存在。

网络的目标输出( 对各故障的隶属函数) 为:上述的故障征兆及网络的目标输出中, 均采用“0”或“1”来表示“有”或“无”, 但在对凝汽器的实际诊断中, 根据对凝汽器故障征兆的逐渐收集,同样可以采用BP网络进行诊断。

BP网络的训练及其隶属函数的形成网络的输入层节点对应于故障的17 个故障征兆, 即输入层节点数为17; 输出层节点对应于11 种故障模式, 即输出层节点数为11; 隐层节点数选为10。

网络的训练精度取E≤0. 009, 学习率采用自适应学习率。

通过训练得到网络训练过程中的训练误差、学习率及误差曲面梯度与迭代次数k 的关系曲线分别如图3、4、5 所示。

诊断实例及对比某机组凝汽器运行过程中表现出的故障征兆[ 2]: ( 0100000000010110) , 将其输入上述已训练好的BP 网络中, 网络即输出该征兆相对于各故障的隶属度, 如表2 所示。

为了便于比较, 这里将文献[ 2] 中的模糊诊断方法简单说明如下:设故障论域中有几个模糊子集A 1, A 2,∧A m,它们分别代表m种故障。

对于该论域中的任意一个元素u0, 若有则称u0 相对属于A i, 其中LA i ( u 0)是u0 相对A i的隶属度函数。

设凝汽器系统中有n 种故障征兆S1, S2, ∧,Sn,每种故障所表现出的征兆论域为:对于实际运行中的任意故障征兆u= ( S1,S2,∧,Sn)则其相对于各故障A ii= 1, 2,∧,m的隶属度为:根据最大隶属度的原则, 便可以诊断出该凝汽器存在的故障。

这种诊断方法实质上是一种基于欧氏距离的诊断方法, 适用于对线性可分的故障类别进行诊断。

其诊断结果如表 2 所示。

由表 2 可见, 当诊断的门限值取0. 1 时,BP网络诊断出凝汽器的故障为5、10、6、11 号, 该结论与文献[ 2] 中取门限值0. 9 时的诊断结论完全相同。

由表 2 还发现, 诊断结果中门限值以上的故障隶属度与门限值以下的隶属度间的差别比文献[ 2] 中的要明显得多, 从而更容易获得可能的故障集。

RBF神经网络1. 1RBF神经网络特点及结构[1, 4]径向基函数神经网络(Radial Basis FunctionNeuralNetwork,简称RBF网络)是具有单隐层的三层前馈神经网络,由输入层、隐含层和输出层构成。

输入层由一些感知单元组成,它将网络与外界环境连接起来。

隐含层采用径向基函数作为激励函数(一般为高斯函数),其作用是从输入空间到隐含空间之间进行非线性变换。

隐含层每个神经元与输入层相连的权值向量w1i和输入矢量xq(表示第q个输入向量)之间的距离乘上阈值b1i作为本身的输入。

其网络结构见图1。

隐含层的第i个神经元的输入为:RBF网络的训练过程分为两步:第一步为确定训练输入层与隐含层间的权值w1的无教师式学习;第二步为确定训练隐含层与输出层间的权值w2的有教师式学习。

训练的目的是求取两层的最终权值w1、w2和阈值b1、b2。

在RBF网络训练中,隐含层神经元数量的确定是一个关键问题,一般是使其与输入向量的元素相等。

然而,在输入矢量很多时,过多的隐含层单元数使网络结构复杂化,影响训练时间。

为此提出了改进方法,基本原理是从0个神经元开始训练,通过检查输出误差,使网络自动增加神经元。

每次循环使用,使网络产生的最大误差所对应的输入向量作为权值向量w1i,产生一个新的隐含层神经元,然后检查新网络的误差,重复此过程直至达到误差要求或最大隐含层神经元数为止。

由此可见,径向基函数网络具有结构自适应确定、输出与初始权值无关等特点。

RBF网络和BP网络一样能以任意精度逼近任何非线性函数。

但由于它们使用的激励函数不同,其逼近能力也不相同。

BP网络使用的Sigmoid函数具有全局特性,在训练过程中需要对网络的所有权值和阈值进行修正。

为全局逼近神经网络,其学习速度慢,并且容易陷入局部极小。

采用局部激励函数的RBF网络是一种局部逼近网络,对于每个训练样本,它只需要对少量的权值和阈值进行修正,因此训练速度快;而且很多RBF网络的学习算法能够分成两段,各自都能快速化。

由于BP网络是多层结构,如果前层的权值不确定的话,后面层的权值也无法确定,因此,学习时间就有很大的差异。

这些特点都体现了RBF网络比BP网络优越,给RBF网络的应用奠定了基础。

凝汽器典型故障类型及征兆集的建立由于凝汽器系统的复杂性、运行环境的特殊性,呈现出多种故障原因、故障征兆。

相关主题