第22卷第3期湖 北 工 业 大 学 学 报2007年06月V ol.22N o.3 Journal of H ubei U niversity of T echnology Jun.2007[收稿日期]2007-03-20[基金项目]湖北省自然科学基金项目(2004ABA065).[作者简介]刘幺和(1954-),男,湖北武汉人,湖北工业大学教授,美国ASM E 和IEEE 专业会员,研究方向:智能控制.[文章编号]1003-4684(2007)0320001203一种B P 神经网络学习率的优化设计刘幺和1,陈 睿1,彭 伟2,周 蕾1(1湖北工业大学机械工程学院,湖北武汉430068;2湖北工业大学计算机学院,湖北武汉430068)[摘 要]考虑到结构优化设计的实用性和模糊性.在大量智能计算的基础上,提出了一种动态BP 神经网络的学习率优化方法,该方法如同Rough 集理论的数据分类简约功能去掉了多余属性的样本数据一样,从而使神经网络拓扑结构优化.实验表明,这种方法简单、实用且快速收敛.[关键词]BP 网络;优化设计;学习率[中图分类号]TP183[文献标识码]A 目前,智能计算在结构优化设计中已经得到广泛应用.智能计算是根据人和动物的3大系统(神经系统、遗传系统、免疫系统)特性,提出恰当的数学模型来进行智能计算.Rumelhart 等提出的误差反向传播(Back Propagation )学习算法是训练神经网络的强有力的工具.但是BP 算法存在收敛速度慢、易陷入局部极小等缺点,所以对BP 算法的改进是一个重要的研究课题.其中对学习率的研究是很重要的一个部分.如果学习率太小,收敛性容易得到保证,但收敛速度太慢;学习率太大,学习速度快,但可能导致振荡或发散[1].因而一个固定学习率不可能很好地适用于网络的整个学习过程.为实现快速而有效的学习收敛过程,人们提出了许多自适应地调节学习率的方法(自适应调节学习率,即在网络的学习过程中,学习率随着环境状态的变化不断自动调整).1 BP 神经网络BP 网络可实现输入空间到输出空间的非线性映射,它采用了优化算法中的梯度下降法,把一组样本的I/O 问题变为非线性优化问题,B P 神经网络模型一般由输入层、中间层、输出层构成(图1),该方法的数学原理和推导方法见文献[2].算法的执行步骤如下[2].1)对权系数W ij 置初值.对各层的权系数W ij 置一个较小的非零随机数,但其中W i ,n+1=-θ.2)输入一个样本X =(X 1,X 2,…,X n ),以及对应的期望输出Y =(Y 1,Y 2,…,Y n ).3)计算各层的输出.对于第k 层第i 个神经元的输出X k i ,有图1 BP 神经网络模型4)求各层的学习误差d k i .对于输出层k =m ,有d m i =X m i (1-X m i )(X mi -Y i ).对于其他各层,有d k i =X k i (1-X ki )・∑tW li・d k+l l . 5)修正权系数W ij 和阀值θ有ΔW ij (t +l )=ΔW ij (t )-η・d k i ・X k-1j.其中,ΔW ij (t )=-η・d k i ・X k-1j+αΔW ij (t -l )=W ij (t )-W ij (t -l ). 6)当求出了各层各个权系数之后,可按给定品质指标判别是否满足要求.如果满足要求,则算法结束;如果未满足要求,则返回3)执行.该学习算法,对于任一给定的样本X p=(X p1, X p2,…,X pn)和期望输出Y p=(X p1,Y p2,…,Y pn)都要执行,直到满足所有输入输出要求为止.2 遗传算法和免疫算法在结构优化中的应用 遗传算法是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局优化概率搜索算法,其主要运算过程如下所示.步骤一:初始化.设置进化代数计算器t=0;设置最大进化代数T;随机生成M个个体作为初始群体P(0).步骤二:个体评价.计算群体P(t)中各个个体的适应度.步骤三:选择运算.将选择算子作用于群体.步骤四:交叉运算.将交叉算子作用于群体.步骤五:变异运算.将变异算子作用于群体.群体P(t)经过选择、交叉、变异运算后得到下一代的群体.群体P(t+1).步骤六:终止条件判断.若t≤T,则t=t+1,转到步骤二;若t>T,则以进化过程中得到的具有最大适应度的个体作为最优解输出,终止运算.基本免疫算法基于生物免疫系统基本机制,模仿了人体的免疫系统,它从体细胞理论和网络理论得到启发,实现了类似于生物免疫系统的抗原识别、细胞分化、记忆和自我调节的功能.如果将免疫算法与求解优化问题的一般搜索方法相比较,那么抗原、抗体、抗原和抗体之间的亲和性分别对应于优化问题的目标函数、优化解、解与目标函数的匹配程度.3 BP网络学习率的优化模型BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点,但是B P模型存在收敛速度缓慢、容易陷入局部极小值、难以确定隐层节点的数目等缺点[3].目前,有大量学者和研究人员试图采用遗传算法和免疫算法对B P网络学习率进行优化,建立了大量的数学模型.[4]但这些模型往往公式复杂、结构繁琐,既不利于学习和计算,也不利于计算机建模.针对以上的问题,笔者在大量遗传算法和免疫算法的实验基础上,提出一种简单优化方法将学习率的变化公式η=Ae-λn.其中n为迭代次数,A和λ的取值根据实际情况选择,一般情况下,1≤A≤50,0.001≤λ≤0.0001.鉴于工程应用的复杂性和结构优化的模糊性,对应不同的系统和实际要求,得出不同的取值范围.4 计算机仿真利用BP网络函数逼近的功能对B P网络及两种改进算法的性能进行比较,采用的神经网络有6个输入节点,6个隐藏节点和6个输出节点,共三层.输入样本为{0,0,0,0,0,0},输出样本为:{0.11,0.73,0.29,0.81,0.54,0.64}.训练最大步数取5000步,目标误差定为0.01,固定学习率定为2,A选为8.1,λ选为0.001.表1是BP 网络和优化算法的训练结果比较.表1 BP网络和优化算法的训练结果迭代次数结果误差基本BP网络960.001048优化学习率的BP网络190.0010705 结论以上实验仿真结果可以看出,在相同的误差要求下,优化过学习率的模型较之标准B P模型,训练次数明显减少,训练时间大大减短,而且结构简单,适用于计算机建模,该方法如同Rough集理论的数据分类简约功能去掉了多余属性的样本数据一样,从而使神经网络拓扑结构优化,快速收敛.[ 参 考 文 献 ][1] 武美先,张学良,温淑花,等.BP神经网络的双学习率自适应学习算法[J].现代制造工程,2005(10):29-32.[2] 史忠植.智能科学[M].北京:清华大学出版社,2006.[3] 杨东侯,年晓红,杨胜跃.两种改进的BP神经网络学习算法[J].长沙大学学报,2004,18(4):54-57. [4] 龚 安,张 敏.BP网络自适应学习率研究[J].科学技术与工程:2006,6(1):64-66.2湖 北 工 业 大 学 学 报2007年第3期 Optim al Design for Learning R ate of BP N eutral N et w orkL IU Yao 2he 1,C H EN Rui 1,PEN G Wei 2,ZHOU Lei 1(1S chool of Mechanical Engi n.,H ubei Univ.of Technolog y ,W u H an 430068,Chi na;2S chool of Com p uter ,H ubei Univ.of Technolog y ,W uhan 430068,Chi na )Abstract :Because of t he p racticability and f uzziness of optimum st ruct ure designing ,a kind of dynamic BP neural networks learning rate optimization is presented in t his paper on t he basis of a great amount of intel 2ligent calculation.The experimental result s show t hat t his met hod is simple ,f unctional and rapid in con 2vergence.K eyw ords :B P neut ral networkl ;optimal design ;learning rate[责任编辑:张岩芳]“高精度贴片机自动对准系统的开发研究”通过鉴定 该项目由机械工程学院测试计量技术及仪器学科带头人、博导钟毓宁教授负责,2004年获得武汉市科技攻关项目立项。
经过三年的研究,研制出基于机器视觉的自动对准系统样机。
项目组开发了利用小波变换、尺度映射、分层搜索预处理和亚象素边缘提取等多种算法的图像处理软件;提出并实现了一种利用正交光栅对CCD 自动对准系统进行高精度标定的方法;采用准对称光学系统和二维运动控制系统,开发了一套基于通用硬件的实时视觉细微定位和控制系统,实现了芯片和基底的自动对准。
4月26日,在由武汉市科技局组织的鉴定中,鉴定委员会一致认为,该项目已完成项目计划任务书所规定的各项任务,在CCD 自动对准系统高精度标定和图像快速精确匹配方面达到了国际先进水平。
3 第22卷第3期 刘幺和等 一种BP 神经网络学习率的优化设计。