+
基于人工神经网络的非线性回归的实践分析
在人工神经网络的发展中，误差逆传播学习算法 （,--.占有重要地位。以该算法为基础的人工神经 /0123(-.405067.8 ） 它是目前 人 工 神 经 网 络 领 域 中 应 用 最 为 广 网络简称 /( 网络， 泛的模型之一。该文以 /( 网络为例对基于人工神经网络的非 线性回归进行实践分析。 传统的回归是寻找 % 与 & 表 % 为取自文献 9#: 的实验数据， 的函数关系， 文献 9#:给出富氏级数回归式为： （ % ( %? $ %! ） （ ! % = %!< $ "@ ） & ; < $ !! = !! $ %< >78 = # $ ## >78 = （+%)A<$!% ） +$?#>78
最小二乘多项式回归与神经网络回归的对比
杉木径向 杉木弦向 漆树横向
’" ’% ’! ’&
相关系数 剩余标准差
"$/&0!./&".&!/%"% 30$"’!’/-&#.%##%# &.$--/.&.!#00%&! 3#’$%-’.%!"&-’"&’ $0#."-""0&.!"/’& #$%’!#/".%0##00#43!
基于人工神经网络的非线性回归
! 王宜怀 %，
王
林!
% （河海大学水电工程学院， 南京 !%""1) ） （苏州大学计算机科学与技术学院， 苏州 !%2""* ） !
345678： 97:;67<=>;/6$,/;$?.
摘 要 探讨了人工神经网络在回归分析领域应用的理论基础，对基于人工神经网络的非线性回归进行了深入的实践
分析。以 @A 网络为例给出了基于人工神经网络的非线性回归实例分析。 结果表明利用人工神经网络进行非线性回归是 一种良好的数据回归方法， 可以方便地应用于解决非线性回归问题。 关键词 人工神经网络 非线性回归 理论基础 实践分析 中图分类号 DA%)(
（!""# ） 文章编号 %""!4)((%4 %!4""B14"#
基金项目： 江苏省教育厅自然科学基金 （编号： T!%%)!"% ）
图 % 传统的回归希望找到映射的具体表达式 #
作者简介： 王宜怀， 男， 博士研究生， 苏州大学教授， 主要研究方向： 人工神经网络、 嵌入式系统。王林， 男， 副教授。
计算机工程与应用 !""#$%!
B1
有时， 我们的努力是徒劳的， 因为有可能 “! ” 根本就 不 能 表 达成一种简明的函数形式。但是， 实验上 " !# 的映射关系是 的具体表达难以找到。例如， 在基于 &’( （数字信 明确的， 而 “! ” 号处理） 的系统中， 实际物理量要经过传感器、 变换器、 放大器、 其 ) * & 转换器等电子器件才能成为计算机能够处理的数字量， 过程的任何一个过程的非线性， 必然导致实际物理量与数字量 的非线性关系， 这里的实际物理量与数字量关系明确， 有一一 对应关系， 只不过不是线性关系。 通常情况下， 这种非线性关系 是难以用一个简明的数学关系来表达的。于是， 在以前的计算 机控制系统中， 人们使用了许多硬件方法试图减少信号变换过 程中的非线性性。 那么， 怎样才能更好地解决这类问题呢？ 鉴于 人工神经网络在非线性领域应用的成功实践，对于非线性回 归， 神经网络模型也许有用武之地。 基于神经网络的回归分析， 希望寻找的不是具体的映射数学表达， 而是通过网络对样本的 进行学习 训 练 ， 当网络训练完成后， 其网络结构 $ 就代表了映 射 " !# ，见图 ! 。虽然这个过程不能得出简明的数学公式表 达， 但它却代表了更复杂的映射关系。 通过这个网络结构 （网络 层数、 各层单元数、 各连接权及阈值等均确定下来） ， 当有一自 就 会 产 生 一 因 变 量 输 出 &， 这就是网络的回想 变量 % 输入时， 过程，这个参数被确定下来的网络就成为解决该特殊问题的 “专家” ， 上述问题可以得到较好的解决。 在计算机编程过程中， 所使用的网络模型及确定的参数， 可以通过类、 对象等软件技 术实现。需要指出的是， 学习过程必须是有教师示教的学习方 、 （" ! ， ， （" + ， …， （"’ ， 式， 实验 数 据 样 本 组 （" % ， # %） # !） # +） #’） 就是学习样本， 从理论上说， 学习样本越多， 学习效果越好。
文献标识码 C
!"# $%&’(&#)* +#,*#--(%& .)-#/ %& .0 1*2(3(4()’ $#5*)’ $#26%*7
; 8)&, 9("5)(:， 8)&, <(&; % （ EF88,-, FG H9/0FIF<,0 3.-7.,,07.- FG HF:67 J.7K,0>7L9 ， M6.N7.- !%""1)） ! （EF88,-, FG EF5I;L,0 O?7,.?, 6./ D,?:.F8F-9 FG OFF?:F< J.7K,0>7L9 ， O;P:F; !%2""*）
!’ ， 显示出它的强大生命力。对于实验数据的非线性回归分 用 &%，
之间的函数关系， 即力求把 ! 表 素 （对响应有影响的自变量 " ） （以一 元 回 归 为 例 ） ， 使之在 “某 种 意 达成 " 的一个合适的函数 义” 上最好。为了与下面所要表述的问题易于衔接， 在术语上， 把这种函数关系表述为映射。那么， 传统的回归分析就是希望 （" ） ， 见图 % 。这里的 “某种意义” 找到映射的具体表达式 #： ! $# “使 误 差 平 可以是 %)"* 年 +,-,./0, 提 出 的 最 小 二 乘 原 理 中 的 方和为最小以限制极限误差” 的思想， 也可以是其它体现整体 误差的表述。但不论如何表述， 要从大量的带有一定随机性的 、 （" ! ， ， （" ( ， …， （"% ， 中 实验数据样本组 （" % ， ! %） ! !） ! (） !%） 通常是十分困难 “回 归 ” 出 映 射 " !! 的 具 体 表 达 # 的 形 式 ， 的。 人们对此进行了长期的研究， 提出了许多拟合方法。 在一些 基本函数的组合无法表达时， 就用多项式进行回归， 从而近似 确定这种规律。 从理论上说， 在多项式回归中， 拟合的多项式次 数越高， 模型越准确， 但实际拟合过程并非如此。甚至， 有些情 相应的误差都较大， 或者对应的相 况无论怎样拟合所找出的 #， 关系数都比较小， 就是说拟合不好。也可以说， 在这种情况下， 传统的回归分析方法找不到合适的 # 来表述映射 " !! 。
析、 实验数据的补漏、 非线性校正等方面， 人工神经网络应该有 其用武之地。 但有的作者试图用此方法寻找传统回归方程的系 该文试 数， 只是人工神经网络在回归分析中应用的一个侧面 &(’。 图从理论与实践两个角度较系统地探讨人工神经网络在回归 分析方面的应用， 分析其基本原理， 并给出应用方法与实例， 同 时与传统的回归方法进行对比， 从而说明人工神经网络是非线 性回归分析的一种较好方法， 可以方便地应用于实验数据处理 之中， 并对应用中的关键点进行了分析。
神经网络的非线性处理能力分析， 人工神经网络完全具有处理 此类问题的能力， 而且回归效果优于传统的回归方法。当学习 也 完成后， 确定的网络模型、 网络参数就代表了相应的映射 $， 就是说， 我们找到了映射 $。下面把基于神经网络的回归 分 析 与传统的回归分析作简要比较：
（0 ）
（C ）
图 ! 基于神经网络的回归是希望找到映射的网络结构 $
表% （D） " % 取自文献 9#: 的实验数据 （某周;
<"
%!" %A" %?" +E +% %A$+
!%" !#" # 3?
!E" 3%+$!
+""
++"
&
<$+ %A %E$# !+
3%#$! 3@
图 + 给 出 了 基 于 /( 神 经 网 络 的 回 归 演 化 进 程 （网 络 层 隐含层单元个数： 为方便程序运算图中对数据进行了 数： +， @， 单位变换） ， 图中给出了学习参考时间、 神经网络回归的相关系 数和剩余标准差及传统回归方法的相关系数和剩余标准差的 对比， 由此看到， 随着神经网络学习时间的延长， 神经网络回归 （B ） ， 神经 的相关系数不断提高， 剩余标准差不断减小， 到图 + 网络回归的相关系数已经大于传统回归方法的相关系数， 神经 网络回归的剩余标准差小于传统回归方法的剩余标准差， 图形 曲线也说明了这一点。 这里仅给出一例的过程， 实际上， 从人工 （% ） 传统的回归分析目标在于寻找函数表达的具体形式， 而基于神经网络的回归分析目的在于寻找一个神经网络模型， 用实验样本来训练这个网络， 训练完成后， 这个网络就成为该
%
问题的提出
在测量数据的处理与分析领域中， 回归分析是重要方法之
!
基于人工神经网络的非线性回归的理论基础
回归分析就是确立和分析某种响应 （因 变 量 ! ） 和重要因
一。在此过程中， 人们试图从实际测量数据中寻找出某种能用 简明数学公式表达的规律。传统的回归分析方法多种多样， 不 同的思路和模型采取不同的拟合方法， 有时也用几种拟合方法 加以对比，从而决定采用哪种拟合方法更适合所研究的对象。 不论如何， 其目的只有一个， 寻找自然规律， 即简明的数学表 达。 但是， 在更多的情况下， 很难找到一个普适规律， 因此， 能够 建立一个带有参数的经验公式就成为回归分析的出发点。 由于 自然规律的复杂性， 以现实世界为研究对象的目标系统， 绝大 多数为非线性系统， 非线性回归就成为传统回归分析的研究重 点。有时， 为了研究方便， 对非线性关系进行 “线性化” 处理， 期 望达到回归的目的， 一般情况下， 线性回归作为非线性回归的 特例或近似。 人工神经网络是一个具有高度非线性的动力学系 统， 它在预测复杂非线性系统的行为中已经获得了广泛的应