第三章 总结与展望.........................................................................................19 参考文献...............................................................................................................20 致谢.......................................................................................................................20
第二章 指数（对数）函数的神经网络逼近...................................................9 3 . 指数（对数）函数逼近区间的确定......................................................9 4. BP 网络设计基础.....................................................................................9 4.1 输入输出量的选择.........................................................................9 4.2 隐含层节点数设计.........................................................................9 4.3 改进的 BP 算法.............................................................................10 5． BP 神经网络逼近对指数（对数）函数...............................................10 5.1 传统 BP 神经网络逼近一元指数和对数函数.............................10 5.2 利用改进的 BP 神经网络逼近指数函数和对数函数.................13 5.2.1 利用改进的 BP 神经网络逼近一元和二元指数函数....... 13 5.2.2 利用改进的 BP 神经网络逼近一元和二元对数函数....... 16
指数型（对数型）函数的改进 BP 神经网络逼近
陈曦
西南大学数学与统计学院，重庆 400715
摘要： BP（Back-Propagation）网络的职能是对非线性可微分函数进行权值训练，是一种 多层前馈网络，它采用最小均方差的学习方式，应用广泛。大量应用于模式识别、函数逼近、 数据压缩以及分类。本文利用改进的 BP 神经网络分别对一元和二元（三元及以上可以用类 似的方法获得）的指数函数以及对数函数进行了逼近，在经过大量实验的前提下，最终将隐 含层神经元的个数确定为 11 个，并得到了很好的 matlab 仿真效果，大于 0.99 的这样一个 拟合值的可决系数更是从数值上增强了说服力。从结果上看，改进的 BP 神经网络能够很好 地逼近指数函数和对数函数，所以这样的实验研究也为对其它的非线性函数的逼近提供了参 考的价值。 关键词：BP 神经网络；函数逼近；指数函数；对数函数
Approximation of exponential and logarithmic functions
Using improved BP neural network
Xi Chen
School of Mathematics and Statistics, Southwest University Chongqing, 400715
Abstract:BP is a forward broadcasting multiply-layer-network that trains the weight of the differentiable nonlinear functions by adopting the method of minimum mean square error. It is widely used in pattern recognition, approximation of function, data compression and classification. This paper has separately conducted the approximation process in exponential and logarithmic functions with one variable and two variables by utilizing the improved BP (for functions with 3 or more variables, similar method can be employed). Basing on many experiments, the paper has fixed the number of nerve cells as 11 and obtained a good simulation effect of metlab. Besides, the fitted value — the coefficient of determination which is higher than 0.99 makes it more convincing. In conclusion, the improved BP is a very useful tool of approximating the exponential and logarithmic functions and therefore, this research throws light upon other researches about the approximation of nonlinear functions. Key words: BP neural network, approximation of functions, exponential functions, logarithmic functio
第一章 引言
1． 背景介绍
在学习计算数学和在解决一些实际问题的过程中，经常需要用到利用一些 较为简单的函数去逼近较为复杂的函数，然后再利用这些简单的逼近函数来对问 题进行分析。人工神经网络是指由大量人工神经元互连而成的非线性自适应动力 系统，是一种旨在模仿人脑结构及其功能的人工信息处理系统。在众多的神经网 络中，BP （Back-Propagation）神经网络是一种多层前馈网络，全称反向传播神 经网络，它是有导师的学习，是最优化算法中梯度下降法在多层前馈网络中的应 用。由于这种类型的神经网络构造简单，且能够有效地解决非线性目标函数的逼 近问题，因此被大量应用于模式识别、系统辨识、信号处理和自动控制等学科和 领域中。对于 BP 神经网络，由 Kolmogorov 定理可知，一个三层的前向网络足 以完成任意的 n 维到 m 维的映射。也就是说，选用一个隐层的 BP 神经网络便可 以满足非线性目标函数逼近的要求。因此三层感知器（单隐层感知器）的应用最 为普遍，其中所谓的三层包括了输入层、隐层和输出层。该神经网络每一层都定 义有转移函数。转移函数的不同主导了神经元的各种不同的数学模型，转移函数 可以是线性和非线性的。可实际上，三层前馈网络并不一定是最好的，一般还要 使用更多层的 BP 神经网络，其原因是用三层 BP 神经网络来实现往往需要大量 的隐含层节点，而使用更多层的 BP 神经网络来实现可以减少隐含层的数目。不 过在网络的输入和输出层节点确定过后就存在着解决隐含层节点数目的问题，遗 憾的是对于这类问题不存在一个固定的通法来作为理论指导，这就还要等待各方 的努力。当然，用 BP 神经网络对比较常见的简单连续函数 指数函数和对 数函数也是能够较为容易的进行逼近。
本科毕业论文（设计）
题 目 指数型（对数型）函数的改进 BP 神经网络逼近
学
院
专
业
年
级
ห้องสมุดไป่ตู้
学
号
姓
名
指导教师
成
绩
数学与统计学院 数学与应用数学
2008 级 22200831 4011
陈曦 王建军
2012 年 4 月 16 日
目录
第一章 引言...........................................................................................................1 1． 背景介绍..................................................................................................1 2. BP 神经网络介绍.....................................................................................1 2.1 BP 网络模型....................................................................................1 2.2 BP 网络的主要能力：....................................................................2 2.3 BP 学习算法....................................................................................3 2.3.1 信号的正向传播................................................................................ 3 2.3.2 BP 学习算法的误差反向传播与权值阈值更新增量...............3 2.3.3 网络权值阈值跟新公式.................................................................. 4 2．4 BP 网络的局限..............................................................................5 2.4.1 局部极小点..................................................................................... 5 2.4.2 学习/收敛速度慢.......................................................................... 6 2.5 标准 BP 算法的改进.......................................................................6 2.5.1 增加动量项的 BP 学习算法....................................................... 6 2.5.2 可变学习率的 BP 算法.................................................................7 2.5.3 弹性 BP 学习算法.......................................................................... 7 2.5.4 LM 算法............................................................................................. 8