计算机与现代化2011年第6期JIS UAN JI YU X IAN DA I H UA总第190期文章编号:1006-2475(2011)06-0091-04收稿日期:2011-03-03作者简介:吕琼帅(1985-),男,河南平顶山人,郑州大学信息工程学院硕士研究生,研究方向:神经网络;王世卿(1951-),男,河南郾城人,教授,博士生导师,研究方向:数据挖掘,并行计算。
基于遗传模拟退火算法优化的BP 神经网络吕琼帅,王世卿(郑州大学信息工程学院,河南郑州450002)摘要:在研究标准BP 神经网络的基础上,针对其存在的收敛速度慢、且容易陷入局部极小值等问题进行分析,设计实现一种采用数值优化的方法来改进BP 网络性能的新的混合神经网络模型。
通过引入遗传模拟退火算法扩大了网络的权值更新空间,把得到最优权值赋予BP 神经网络,从而使优化后的神经网络具有泛化性好,不易陷入局部极小值等优点。
与标准BP 神经网络进行比较,仿真结果表明,该网络模型能够达到比较高的分类精度。
关键词:数值优化;遗传模拟退火算法;BP 神经网络;权值;泛化性中图分类号:T P183 文献标识码:A do:i 10.3969/.j i ssn .1006-2475.2011.06.026BP N eural N et work Opti m ization A lgorit h m Based on G enetic -sti m ulated AnnealingL B Q iong-shua,i WANG Sh-i qi n g (Schoo l of Infor m ation Eng i neeri ng ,Zhengzhou U niversity ,Zhengzhou 450002,Chi na)Ab stract :A fter study ing t he d i sadvantage o f BP neura l ne t w ork wh i ch has lo w convergent speed and trap i nto l oca lm ini m a eas il y ,an idea o f desi gn i ng a new hybr i d neura l net w ork modelw hich adopts t he m ethod o f nu m er i ca l opti m iza tion is presented .By usi ng G enetic -Sti m u lated A nneali ng a l go rith m (GSA ),expands t he updated space o fw eigh t .On the bas i s ,itm akes the acqu i red be tter va l ue as the we i ght o f BP neura l net wo rk ,and t he opti m ized BP net w ork i s no t easy to trap i nto t he local m i ni m a and has good genera lization characteristic .M ak i ng the comparati on G S A net work w ith standard BP net wo rk ,si m ulati on analysis demonstra tes that t h is net w ork m ode l can attain h i gher ca tego ries o f prec i sion .K ey w ords :nu m er i ca l opti m izati on ;geneti c -sti m u lated annea li ng a l gor ith m;BP neura l net w ork ;w e i ght ;genera li zati on0 引 言近几年,BP 神经网路是在人工智能领域应用最为广泛的关键技术之一。
它是一种多层前馈人工神经网络模型,能够学习大量的模式映射关系,并从仿生学的角度模拟人脑的智能行为,广泛应用于模式识别、分类、预测[1-4]等领域,具有很强的自适应能力。
但是,BP 神经网络也存在易于陷入局部极小值、收敛速度慢且易引起震荡等缺陷,为此人们提出了许多优化算法来改进标准的BP 神经网络[5-7]。
由于目前提出的优化算法大都采用诸如可变的学习速率、弹性算法等启发式信息技术,优化后的算法虽在收敛速度方面有所改善,但仍难以满足人们的应用需求。
因此,本文在研究分析BP 网络和遗传模拟退火算法的基础上,引入寻优能力较强的遗传模拟退火算法(GSA )对BP 网络在训练过程中的参数进行优化。
因模拟退火算法利用了群体智能行为的优点扩大了参数搜索的空间,并在多变量函数优化问题上比其它的群体智能算法有更强的优化能力[8],同时利用适应度函数来确定最优的权值,所以基于遗传模拟退火算法的这些优点,本文给出一种新的混合神经网络模型,使优化后的BP 网络具有泛化性好、不易陷入局部极小值、分类精度较高等优点。
1 BP 神经网络基于梯度下降法的BP(Back Propagation)网络是1986年由Rum e l h art 和M cC lelland 提出的一种多层网络模型,其核心是误差反向传播算法[9]。
该标准做法可以实现从输入到输出的任意非线性映射,并具有信号正向传播、误差反向传播等特点。
其网络结构92 计 算 机 与 现 代 化2011年第6期一般由输入层、隐含层和输出层组成,其中的隐含层又可以由一层或多层的隐层神经元组成(见图1)。
对于三层的BP 网络,许多人已证明的万能逼近定理[10-11]表明:它含有一个隐层,只要隐藏层神经元节的点数足够多,该网络就能以任意精度逼近有界区域上的任意连续函数。
图1 三层BP 神经网络基本结构从图1中可以看到,数据从输入层经隐层神经元,然后传到输出层,每一层神经元的输出只影响下一层节点的输出,各神经元节点的激活函数一般可以是S 型函数或者线性函数。
图1中P i ,i I {1,...,n}表示输入层中的输入向量,W ,i j 和W ,j k 分别表示输入层与隐藏层和隐藏层与输出层连接的权值,a k ,,k I {1,...,m }表示输出层中的向量。
各层中的单个神经元节点都具有如图2所示的单元结构。
图2 单个神经元结构对单个神经元输出的向量,可表示为:a=f(W P+b)(1)式(1)中,a 为单个神经元的输出;f 是激活函数;P 表示输入向量;W 为权值向量;b 为单个神经元的阈值。
根据误差的反向传播方式,利用梯度下降的方法,不断地修改层与层之间的连接权值,寻找权值的最佳值来减小目标输出和实际输出之间的误差。
其误差的计算方法为:E=E I(E S(d s ,i–a s ,i ))2(2)式(2)中,d s ,i 是样本s 在神经元i 的期望输出;a s ,i 是样本s 在神经元i 的实际输出;I 为输出层中神经元节点的序列;S 是样本个数。
2 遗传模拟退火算法(GSA )遗传模拟退火算法(Genetic -S ti m ulated Annealing algorithm,GSA )是结合了遗传算法的思想和模拟退火算法的思想的一种混合智能算法。
遗传算法是一种仿生算法,模拟达尔文的自然进化论与孟德尔的遗传变异理论,其思想来源于自然界生物的进化与生产过程。
模拟退火算法源于固体的退火原理,在金属热加工工艺中,将金属材料加热到某以高温状态,然后让其慢慢冷却下来的热处理过程叫做退火。
两者都在数值优化方面有着良好的性能。
在实际的问题中,基本的遗传算法并不是解决某一问题的最有效的方法,可能表现出一些不尽人意的问题,比如早熟现象、局部寻优能力较差等问题。
可以通过引入一些具有很强局部搜索能力的算法比如模拟退火算法,来帮助提高遗传算法解决问题的能力和求解质量。
在构成遗传模拟退火算法的过程中,遵循了由De Jong 提出的3条基本原则[12]:(1)尽量采用原有算法的编码。
这样便于利用原有算法的相关知识,也便于混合遗传算法的实现。
(2)利用原有算法的优点。
这样就可以保证由混合遗传算法所求到的解的质量不会低于基本遗传算法所求到的解的质量。
(3)改进遗传算子。
设计能适应新的编码方式的遗传算子,并在遗传算子中溶入与问题相关的启发式知识,这样就可以使混合遗传算法既能保持遗传算法的全局寻优特点,又能提高其运行效率。
由此可以看出,遗传模拟退火算法是通过利用基本遗传算法的编码和优点的基础上,引入模拟退火算法的局部寻优搜索过程,从而找出每个个体在目前的环境下所对应的局部最优解,以便达到改善种群总体性能的目的。
遗传模拟退火算法的具体步骤是[13-14]:(1)初始化遗传模拟退火算法种群、迭代次数和其它参数;(2)采用适应度函数对个体进行评价,并记录当前最好个体;(3)进行遗传模拟退火操作:选择操作、交叉操作、变异操作、模拟退火操作;(4)评价个体适应度,并判断是否满足终止条件,如果不满足,返回(3),如果满足算法终止;2011年第6期吕琼帅等:基于遗传模拟退火算法优化的BP 神经网络93(5)保存最好适应度的个体为最终值。
在算法的每一次迭代中,都要计算出所有个体的适应度。
其中适应度函数的确定可根据实际问题的需要将目标函数映射为算法的适应度函数,f 具体计算公式为:f=E ni=1abs(y i -o i )(3)式(3)中,n 为种群的大小,根据实际问题的分析,y i 为通过遗传模拟退火算法计算出来的实际值,o i 为期望值。
再根据式(4)对种群中的个体进行选取,式中F 为接受新个体的概率:F =0,f new <f o ld 1,f new \f o ld(4)如果新个体的适应度f new 好于原有的个体f o ld ,则一定接受新的个体,并用新的代替旧的个体;否则,拒绝新个体,保留原有个体。
3 遗传模拟退火算法优化的BP 神经网络模型设计基于遗传模拟退火算法优化的BP 神经网络(GSA-BP)设计上,主要分为BP 网络的结构确定和遗传模拟退火算法中的权值与阈值选定。
其算法流程如图3所示,主要步骤的描述如下:(1)初始化BP 神经网络。
根据输入输出参数个数确定BP 神经网络结构,进而确定遗传模拟退火算法中需要优化的参数的个数。
(2)初始化遗传模拟退火算法中种群的规模、最大迭代次数、初始温度、被优化参数的维数等。
(3)遗传模拟退火算法优化BP 网络的权值和阈值,遗传模拟退火算法中的每个个体都代表了一个网络的所有权值和阈值,然后通过适应度函数计算每个个体的适应度。