中隐层的两个节点代表两个主轴, g (·) 和 f (·) 两个传递函数分别为线性和二次函数, 此网络的信息传
递过程为:
输入到两个主轴 z 1= w 1x T + 1, z 2= w 2x T + 1
(5)
主轴的输出 z
2 1
=
f
(z 1) ,
z
2 2
=
f
(z 2)
网络的输出 y =
1999 年 9 月
系统工程理论与实践
第 9 期
过程系统寻优新方法——非线性映射主轴分析法α
鄢烈祥1, 麻德贤2
(11 湖北工学院化工系, 湖北 武汉 430068; 北京化工大学计算机系, 北京 100029)
摘要: 对于实际过程系统的寻优, 大都是多维的非线性优化问题, 寻求一种全局稳定最优数值解的 方法, 一直是人们关注的课题. 本文应用人工神经网络的拓扑映射技术, 提出非线性映射主轴分析法. 这种新方法将一个多维空间的非线性问题降维映射到二维平面, 籍目标函数等值分布曲线的分析, 决 策出最优点或最优区域, 通过逆映射运算可将其还原到多维空间用原始变量表示. 从本文的例证可 见, 这种方法直观、简便、有效、得出的最优解准确、可靠. 关键词: 神经网络; 非线性映射主轴分析法; 最优化 中图分类号: T P3011 6; TQ 021. 8
α 收稿日期: 1998205218
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
80
系统工程理论与实践
1999 年 9 月
的规律性认识来确定最优搜索的方向和途径; 最后, 上述方法一般不能给出最优操作点群, 难以实现优化 操作的可调和灵活性.
(1. H ubei Po lytechn ic U n iversity, W uhan 430068; 2. B eijing U n iversity of Chem ica l T echno logy, B eijing 100029)
Abstract: T here a re m u ltid im en siona l non linea r p rob lem s fo r the op tim iza tion of p rac2 tica l p rocess system s. It is no ticeab le to find a steady m ethod of op tim iza tion in overa ll situa tion. T he non linea r m app ing p rincip a l ax is ana lysis m ethod is p rovided by u se of a rtificia l neu ra l netw o rk s and m app ing techno logy in th is p ap er. T h is new m ethod can m ap and decrea se the non linea r function of m u ltid im en siona l sp ace to a tw o d im en siona l p lane. T he op tim um po in t o r reg ion can be found in tu itively w ith the a id of con tou rs of ob jective function. T he o rig ina l p a ram eters can be retu rned by inverse m app ing from the p lane to m u ltid im en siona l sp ace. T h is m ethod is in tu itive, handy and effective. T he op tim um resu lt ob ta ined is accu ra te and reliab le. Keywords: neu ra l netw o rk; non linea r m app ing p rincip a l ax is ana lysis m ethod; op ti2 m iza tion
w (k + 1) = w (k ) + △w + Α(w (k ) - w (k - 1) ) 上式中, Γ, Α分别为学习速率和动量因子.
81
(12)
图 1 映射降维网络模型
2 主轴分析和逆映射算法
211 主轴分析 z 1, z 2 两主轴变量构成了一映射平面, 主轴方程 (6) 中的权向量 b= [b0 b1 b2 ]各分量的符号和绝对
6 为山谷, b1 小于零时, 为山脊) , 沿着轴线方程 z 1 = w 1x T + 1 = w 1jx j + 1 = 0 搜索能够迅速找到最小点
或最大点. 表 1 主轴方程在映射平面的几何解释
情况
系数关系
符号 b1 b2
等值线类型
几何解释
中心
极值
1
b1= b2
-
-
圆
圆形峰
极大
b0
2
b1= b2
为克服上述诸寻优方法的不足, 本文提出了一种新的寻优方法—— 非线性映射主轴分析法. 它是根据 拓扑结构在映射过程中不变的原理, 用神经网络实现非线性映射, 把多维空间的样本数据降维映射到一个 由两个主轴构成的平面上, 并生成目标函数的等值分布曲线, 籍此, 能直观地定出最优点在映射平面的位 置或方向, 借助主轴分析能揭示网络权向量与目标函数的分布关系并能确定优化的搜索方向和途径. 应用 本文给出的内插, 外推算法较容易地把在映射平面上的最优点或最优区域逆映射到多维空间用原始变量 表示. 本文的研究发现: 这一新的优化方法, 只需要分布均匀的少量样本数据, 就能揭示出目标函数的等值 线分布规律, 应用内插, 外推算法能非常准确地求出最优点或最优区域的参数.
0 引言
任何一个过程系统要实现优质、高产、低耗, 获取最大的经济效益, 都要求其操作点处在最优惠工况点 上或最优惠工况区域内. 寻求最优点的方法很多, 如试验设计、回归统计分析、模式识别等[1, 2]. 然而, 这些 方法在实际应用中都存在一些问题: 首先, 对于一个好的操作点, 难以断定该点是否是整个操作域的最优 点; 其次, 即使找到了全局最优点, 但对最优点邻域的特性难以分析, 以致当操作点从不同的方向偏离最优 点时, 难于预测操作结果; 另外, 当最优点不在样本数据集区域内时, 没有一种有效的方法从现有数据揭示
A N ew M ethod fo r the O p t im iza t ion of P ract ica l P rocess System
——N on linea r M app ing P rincip a l A x is A na lysis M ethod
YAN L ie2x iang1, M A D e2x ian2
值大小决定着目标函数在映射平面上的分布特性. 表 1 是权向量与目标函数在映射平面等值线分布关系
的几何解释[3]. 从表 1 可知, 权向量 b 的各个分量具有明确的数学几何意义. 在前面四种情况下, z = [ z 1 z 2 ] = [ 0, 0 ]是极值点, 分量 b0 就代表极值点目标函数的极值. 一般来说, 当 b2 的绝对值比 b1 的绝对值小得 多, 且中心在样本数据集之内时, 目标函数将呈现与轴线 z 2 的近似平行线, 此时, 轴线 z 2 定义了一条极值 线 (b1 大于零时, 为极小值线, b1 小于零时, 为极大值线) , 这条极值线满足轴线方程
(7)
而
6 6 5E 5bi = -
(d (t) -
y
( t)
)
z
2 i
=
-
(d ( t) - y ( t) ) (w ix T + 1) 2, i = 1, 2
(8)
6 5E 5b0 = -
(d (t) - y (t) )
(9)
6 6 5E 5w ij = - 2bi (d ( t) - y ( t) ) z ix j = - 2bi (d ( t) - y ( t) ) (w ix T + 1) x j , i = 1, 2; j = 1, 2, …, m
g
(b1z
2 1
+
b2z
2 2
+
b0) =
b1z
2 1
+
b2z
2 2
+
b0
(6)
无疑, 此网络与上述数学模型是等同的. 这样, 求模型参数的问题现在转化为求神经网络权向量的问
题, 进而, 能用误差反向传播算法求取. w , b 修正量公式如下:
△bi = - Γ5E 5bi △w ij = - Γ5E 5w ij
(10)
修正公式为
b (k + 1) = b (k ) + △b + Α(b (k ) - b (k - 1) )
(11)
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
第9期
过程系统寻优新方法 —— 非线性映射主轴分析法
6 z 1 = w 1x T + 1 =
w 1jx j + 1 = 0
此方程对于实际操作具有指导意义, 它能提供许多备选操作方案, 在m 个操作参数中, 如有m 1 个发生了变 化, 可调节剩余的 m - m 1 个参数中的某一个或几个, 只要满足上式, 同样可保持在最优状态. 当 b2 的绝对 值比 b1 的绝对值小得多, 而中心在样本数据集之外时, 此时, 轴线 z 2 定义了一条山谷或山脊 (b1 大于零时,