第３Ｏ卷第９期
２０１３年９月 计算机应用与软件
Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ Ｖｏ１．３Ｏ Ｎｏ．９
Ｓｅｐ．２０１３
基于粒子群优化与ＢＰ算法的协同神经网络学习方法
江丽王爱平
（安徽大学计算机科学与技术学院安徽合肥２３０６０１）
摘要 针对标准ＢＰ算法易陷入局部极值及收敛速度慢等问题，提出一种基于粒子群优化与ＢＰ算法的协同神经网络学习方
法。该方法在网络的学习过程中，同时利用ＰＳＯ优化算法与ＢＥ算法进行最优网络权值的协同搜索，从而充分利用粒子群算法的全
局搜索性及ＢＰ算法的反向传播特点。将该算法应用于４个复杂函数的拟合仿真，并与标准ＢＰ算法以及传统的粒子群优化ＢＰ神
经网络算法进行比较。实验结果表明所提的协同算法的性能优于传统的ＢＰ网络优化算法。
关键词 ＢＰ算法 粒子群算法优化 函数拟合协同算法
中图分类号ＴＰ１８３ 文献标识码Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００－３８６ｘ．２０１３．０９．００６
ＣｏｏＰＥＲＡＴＩＶＥ ＮＥＵＲＡＬ ＮＥＴＷｏＲＫ ＬＥＡＲＮＩＮＧ ＡＬＧｏＲＩＴＨＭ ＢＡＳＥＤ ｏＮ
ＰＡＲＴＩＣＬＥ ＳＷＡＲＭ ｏＰＴＩＭＩＳＡＴＩｏＮ ＡＮＤ ＢＰ ＮＥＵＲＡＬ ＮＥＴＷｏＲＫ
Ｊｉａｎｇ Ｌｉ Ｗａｎｇ Ａｉｐｉｎｇ
（Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ａｎｈｕｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｈｅｆｅｉ ２３０６０１，Ａｎｈｕｉ，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ Ｆｏｒ ｔｈｅ ｓｔａｎｄａｒｄ ＢＰ ａｌｇｏｒｉｔｈｍ ｕｓｕａｌｌｙ ｈａｓ ｔｈｅ ｌｉｍｉｔａｔｉｏｎｓ ｏｆ ｌｏｃａｌ ｅｘｔｒｅｍｅ ｖａｌｕｅｓ ａｎｄ ｓｌｏｗ ｃｏｎｖｅｒｇｅｎｃｅ，ａ ｃｏｏｐｅｒａｔｉｖｅ ｎｅｕｒａｌ
ｎｅｔｗｏｒｋ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｓａｔｉｏｎ（ＰＳＯ）ａｎｄ ＢＰ ａｌｇｏｒｉｔｈｍ ｉｓ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｄｕｒｉｎｇ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ
ｎｅｔｗｏｒｋ ｌｅａｒｎｉｎｇ，ｔｈｉｓ ｍｅｔｈｏｄ ｍａｋｅｓ ｕｓｅ ｏｆ ｂｏｔｈ ＰＳＯ ａｎｄ ＢＰ ａｌｇｏｒｉｔｈｍｓ ｓｉｍｕｌｔａｎｅｏｕｓｌｙ ｔｏ ｃａｒｒｙ ｏｕｔ ｔｈｅ．ｃｏｏｐｅｒａｔｉｖｅ ｓｅａｒｃｈ ｏｆ ｏｐｔｉｍａｌ ｎｅｔｗｏｒｋ
ｗｅｉｇｈｔ，ＳＯ ｔｈａｔ ｉｔ ｔａｋｅｓ ｔｈｅ ｆｕｌｌ ａｄｖａｎｔａｇｅｓ ｏｆ ｇｌｏｂａｌ ｓｅａｒｃｈ ｐｒｏｐｅｒｔｙ ｏｆ ＰＳＯ ａｎｄ ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ ｆｅａｔｕｒｅ ｏｆ ＢＰ ａｌｇｏｒｉｔｈｍ．Ｗｅ ａｐｐｌｙ ｔｈｉｓ
ａｌｇｏｒｉｔｈｍ ｉｎ ｆｉｔｔｉｎｇ ｓｉｍｕｌａｔｉｏｎ ｗｉｔｈ ｆｏｕｒ ｃｏｍｐｌｅｘ ｆｕｎｃｔｉｏｎｓ ａｎｄ ｃｏｍｐａｒｅ ｉｔ ｗｉｔｈ ｔｈｅ ＢＰ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ ｏｎ ｅｉｔｈｅｒ ｓｔａｎｄａｒｄ ＢＰ
ｎｅｔｗｏｒｋ ｏｒ ｔｒａｄｉｔｉｏｎａｌ ＰＳＯ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｃｏｏｐｅｒａｔｉｖｅ ａｌｇｏｒｉｔｈｍ ｐｒｏｐｏｓｅｄ ｐｅｒｆｏｒｍｓ ｂｅｔｔｅｒ ｔｈａｎ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ＢＰ ｎｅｔｗｏｒｋ
ｏｐｔｉｍｉｓａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ．
Ｋｅｙｗｏｒｄｓ ＢＰ ａｌｇｏｒｉｔｈｍ Ｐａｒｔｉｃｌｅ ｓｗａ／／ｎ ｏｐｔｉｍｉｓａｔｉｏｎ ａｌｇｏｒｉｔｈｍ Ｏｐｔｉｍｉｓｉｎｇ Ｆｕｎｃｔｉｏｎ ｆｉｔｔｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ ａｌｇｏｒｉｔｈｍ
０ 引 言
ＢＰ算法（误差逆向传播学习算法）是神经网络中最为常用
的方法之一ｕ ｊ。这种算法通过误差反向传播来不断调整网络
的权值和阈值，从而使网络的误差平方和最小。尽管ＢＰ神经
网络具有很多显著的特点，但是也存在着固有的缺陷，即收敛速
度较慢、容易陷入局部极小以及网络泛化能力较弱等问题。因
此，许多改进的学习算法相继被提出 －ｌｏ］。作为其中的改进算
法之一，基于粒子群优化算法的网络学习算法已经得到广泛的
应用 Ｊ。粒子群优化算法ＰＳＯ（Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ）是
一种群体自适应全局搜索优化算法 一１ｏｌ。该算法通过种群中
个体之间的协作和信息共享来寻找目标问题的最优解，且实现
简单，需要参数少，收敛速度较快。
本文同时考虑ＰＳＯ算法与ＢＰ算法，提出一种基于ＰＳＯ优
化与ＢＰ算法的协同网络学习新方法。该方法在网络的学习过
程中，同时利用ＰＳＯ算法与ＢＰ算法进行网络最优权值的协同
搜索，从而充分利用了ＰＳＯ算法的全局搜索性及ＢＰ算法的反
向传播特点。通过对４个典型的复杂函数进行函数拟合仿真实
验，然后与标准ＢＰ算法和传统的ＰＳＯ优化ＢＰ神经网络的方法 （ＴＰＳＯ－ＢＰ）进行比较。实验结果表明，本文提出的方法相比于
传统方法具有更高的收敛精度，且收敛速度更快。
１ 基于粒子群算法优化的ＢＰ网络权值更新
１．１标准粒子群优化算法
在粒子群优化算法中，待优化问题的解用粒子在搜索空间
中的位置表示。优化计算时粒子群算法首先随机产生一群粒
子，然后通过迭代不断更新粒子的位置从而找到待优化问题的
最优解。假设有一个群体包含 个粒子，在ｄ维的搜索空间
中，粒子群的第ｉ个粒子的位置向量为置＝（ ，…， ），
速度向量为 ＝（ Ｖ ，…， ），该粒子自身搜索到的最佳位
置记为Ｐ ＝（Ｐ Ｐ ，…，Ｐ ），全部粒子搜索到的全局最佳位
置记为Ｐ ＝（Ｐ Ｐ ，…，Ｐ ）。在迭代过程中，粒子根据自己
当前的最佳位置 和全局最佳位置 来不断更新自己的位置
和速度。具体过程可用如下公式来描述 …：
收稿日期：２０１２—０６—２４。国家自然科学基金项目（６１０７４０７１，
６１１０４０２２）。江丽，硕士生，主研领域：人工智能，容错控制。王爱平，
教授。
２０ 计算机应用与软件 ２０１３丘
。 （ ＋１）＝叼（ ）・ （ ）＋ｃＬｒｌ（Ｐ 一 （ｆ））＋ｃ２ｒ２（Ｐ￣一 。 （ｆ））（１）
（ｔ＋１）＝ （ｔ）＋ （ｔ＋１） （２）
卵（ｔ）＝ …一（叼…一叼 ｉ ）ｔ／ｉｔｍａｘ （３）
其中ｍ＝１，２，…，ｄ；ｉ＝１，２，…， ；卵（ｔ）为惯性权值；ｔ为当前
迭代次数；ｉｔｍｏ￣为最大迭代次数；ｃ ，Ｃ 为学习因子；ｒ ，ｒ：为０
～１之间的随机数。
１．２网络权值粒子化及权值更新
ＢＰ网络的权值和阈值的粒子化是将ＢＰ网络的权值与阈值
看作ＰＳＯ算法中各个粒子的位置分量。设ＢＰ网络的输入层，
隐层及输出层的结点数分别为ｎ ， ，ｎ。，则第ｉ粒子的位置所
表示的网络为：
＝（ １， 忍，…， ）
（Ｕｌｌ，Ｕ１２，…， ｆ， ｌ１， １２，…，Ｗ ＾， １，…，０ ，０１，…， ＾）（４）
其中， 表示输入结点ｈ与隐结点 的连接权值， 表示隐结点
与输出层结点 的连接权值（ ＝１，２，…， ； ＝１，２，…，ｎ＾；
＝１，２，…，ｎ ）；ｄ＝ｎ。ｎｈ＋ ｈ ＋ｎ。＋ｎｈ。在网络权值与阈值
粒子化后，则粒子的适应度函数表示如下：
１ ｎｔ ｆ（ｘ ）＝÷∑（０ ） （５）
。 ｔ ｑ １ 其中， 表示第ｉ个粒子的位置， 为训练样本的个数，Ｏ ，
分别表示第ｑ个训练样本在第ｉ粒子所确定的网络权值与阈值
下的网络实际输出和期望输出。
将网络的权值与阈值用粒子表示后，每个粒子的位置就唯
一确定一个神经网络。此时，粒子位置的更新对应着相应的神
经网络权值与阈值的更新。传统的ＰＳＯ优化的ＢＰ网络学习算
法正是利用这种粒子更新过程来搜索最佳的网络权值与阈值，
从而达到网络训练的目的。
２基于ＰＳＯ与ＢＰ算法的协同网络学习算法
２．１标准ＢＰ算法的网络权值更新
ＢＰ网络拓扑结构包括输入层、隐层和输出层。常用的神经
网络的参数有输入结点与隐结点的连接权值（ （ｔ）），隐结点
与输出结点的连接权值（ （ｔ）），隐结点的阈值 ，以及输出结
点阈值０ 。在标准ＢＰ算法中，它们的更新过程如下所示 ：
（ｔ＋１）＝ （ｔ）十 （６）
Ｈ（ｔ＋１）＝ ｗ（ｔ）＋ ＾ （７）
（ｔ＋１）＝ｏｊ（ｔ）＋融 （８）
０ （ｔ＋１）＝０ （ｔ）＋ （９）
其中， 为隐结点的输出；， 为输入结点的输入；６ 为输出结点ｊ
的输出误差， 为隐结点 的输出误差；ＯＬ，口为学习参数，通常
在［０．１，０．９］之间取值。
２．２基于ＰＳＯ与ＢＰ算法的协同学习算法
标准的ＢＰ算法是按照梯度下降法进行寻优，这种方法收
敛速度较慢且容易陷于局部最优。本文提出一种基于ＰＳＯ与
ＢＰ算法的协同网络学习算法。该算法在更新网络权值的过程
中，同时利用ＰＳＯ优化算法与ＢＰ算法进行协同搜索。通过这
种协同的搜索方法不仅可以有效地提高ＢＰ算法的收敛精度，
而且可以进一步提高ＰＳＯ算法的收敛速度。该算法的具体实
现步骤如下： 步骤１初始化：
（１）初始化ＢＰ神经网络的网络结构，包括网络的输入层、
隐层及输出层的结点个数，训练样本的输入和输出以及学习率
Ｏｔ， 等参数；
（２）初始化粒子群，包括粒子的规模Ⅳ，每个粒子的位置向
量和速度向量，每个粒子的个体最佳位置，全局最佳位置以及迭
代误差精度ｓ等。
步骤２对粒子群中的每个粒子ｉ（ｉ＝１，２，…，Ⅳ）进行如
下迭代更新：
（１）利用式（１）对粒子ｉ的速度进行更新；利用式（２）产生
粒子ｉ的新位置向量 （ｉ＝１，２，…，Ｎ）；
（２）对于粒子ｉ的位置向量 所确定的神经网络利用ＢＰ
算法（式（６）一式（９））进行网络权值与阈值的更新并将新的网
络权值及阈值粒子化得到 ；
（３）计算两个新解 和 ＢＰ的适应度值；如果／（ ）＜／
（ ），则更新第ｉ个粒子的位置向量为 。，否则更新第ｉ个粒
子的位置向量为 ；也即：
ｆ ｓｏ 若 ｓｏ）＜ｌ厂（ ＢＰ （１０）
Ｌ 否则
（４）计算粒子的全局最小适应值ｌ厂（ ）：若＿厂（Ｐｅ）＜ｓ（训
练达到网络误差精度）或当前迭代次数达到最大迭代次数，则
迭代结束转步骤３；否则，转步骤２。
步骤３输出粒子全局最佳位置Ｐ 所对应的神经网络权
值与阈值。
３仿真实验
３．１ 函数列表
选用以下４个典型的复杂函数：
（１） ＝１００×（ — ２） ＋（１一 １）
Ｅ［一ｌ０，１０］ｉ＝１，２
（２） ＝∑（ 一１０ｃｏｓ（２１ｒｘｉ）＋ｌｏ）
∈［一５，５］ｉ＝１，２，３
（３） ＝ １（ ＋ ）…ｓ ｏｓ（ ）＋１
ｉ∈［一ｌ０，１０］ｉ＝ｌ，２
（４） ＝ ＋ ｉ—ＸＩ ２ ＋扎一ｓｉｎｘ；一ｃｏｓ（￣ｌ ；）
∈［一２盯，２ ］ｉ＝１，２，３
３．２函数拟合及误差分析
利用本文提出的神经网络学习新算法，对上述４个复杂函
数进行拟合仿真。实验参数设置：（１）网络的参数：输入结点数
ｎｉ为函数自变量个数，隐层结点数 采用经验试凑法，输出结
点数 为函数因变量个数；（２）粒子群算法参数：粒子规模Ⅳ
＝２０，最大迭代次数ｉｔｍａｘ：１０００次，网络训练误差ｓ＝１ｅ一６，
惯性权值的取值范围［０．３，０．９］，学习因子Ｃ，＝ｃ ＝２．０，粒子
最大速度啪 ＝１。初始样本：对于每个待拟合的函数，在自变
量取值范围内随机生成训练样本 ＝６００个，测试样本 ＝
２００个。图１是各个函数在三种训练方法下训练误差比较结
果，图中横坐标为训练次数，单位为次数，纵坐标为训练误差。
表１是各个函数在三种训练方法作用下拟合误差结果，其中Ｅ 、
Ｅ 分别表示ｎ 个测试样本和ｎ 个训练样本的均方误差，即：
（下转第９９页）