Sigmoid函数的导数：
f(x) 1 1 e x 1 1 1 e x f(x)1 f(x)
双曲正切tanh函数的导数：f(x)1eexx ee xx21f2(x)
由此可以看出，由于激活函数的特点，用神经网络计算时， 需对输入和输出的值进行调整。
激活函数是采用Sigmoid函数时，输入和输出的值应 在{0,1}之间；
智能算法 （Intelligent Algorithm）
a
1
主要内容
人工神经网络（Artificial Neural Network， ANN）
模拟退火（Simulated Annealing，SA） 遗传算法（Genetic Algorithm，GA）
a
人工神经网络参考文献
陈念贻，钦佩，陈瑞亮，陆文聪，模式识别方法在化学化工中的应用，科 学出版社，北京，2000。
a
生物神经元及神经网络
神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别 的细胞接受多个输入。由于输入分布于不同的部位，对神经元影响的比例 (权重)是不相同的。另外，各突触输入抵达神经元的先后时间也不一祥。 因此，一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的 形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和 强度。正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条 不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种 信息处理功能。多个神经元以突触联接形成了一个神经网络。
a
一、人工神经网络
什么是人工神经网络？它就是在对大脑的生理研究的基础上， 用模拟生物神经元的某些基本功能元件（即人工神经元）， 按各种不同的联结方式组织起来的一个网络。
其目的在于模拟大脑的某些机理与机制，实现某个方面的功 能，可以用在模仿视觉、模式识别、函数逼近、模式识别、 分类和数据压缩等领域，是近年来人工智能计算的一个重要 学科分支。
网络实际输出与希望输出的误差信号由输 出层经隐含层向输入层逐层修正连接权和 阂值的“误差反向传播”过程；
由“模式正向传播”过程与“误差反向传 播”过程的反复交替进行的网络学习训练 过程；
网络全局误差趋向极小的学习收敛过程。 （网络对输入模式响应的正确率也不断增 加。 ）
a
BP网络的计算过程的简单描述（1）
的每个元素。
网络的输出为a2， 有s2个神经元， 而目标输出为T。
隐层内有s1个神 经元，对应隐层 输出是a1。
三层BP神经网络不同层神经元之间实现权重连接， 而每层内各个神经元之间不连接。
a
BP网络的四个计算过程
输入模式由输入层经隐含层向输出层的 “模式正向传播”过程；（神经元的激活 值从输入层经隐含层向输出层传播，在输 出层各神经元获得网络响应。）
输入分量通过与它相乘的权值分量 相连，求和后与偏差权值共同构成 激活函数的输入 。
r
a f ( wj pj b)
j1
a
偏差
r
神经元的输出为： a f ( wj pj b)
j1
r
偏差b被简单地加在 p j w j 上，作为激活函数的一个输入分量。 j1 偏差的重要作用，它使得激活函数的图 形可以左右移动，这样可增加网络解决 问题的能
Sigmoid函数：
双曲正切tanh函数：
f
(x)
1 1ex
f
(x)
ex ex
ex ex
Sigmoid函数和双曲正切tanh函数都是单调上升函数， 其极值分别为0、1和－1、＋1，且都是可微的。
a
激活函数的一阶导数
在BP神经网络训练算法中，要用到激活函数的一阶导数。
模式正向传播过程
人工神经网络有多种形式，其中反向传播人工神经网络 (Back-Propagation Artificial Network, 简称BP网络)是一种广 泛使用的神经网络模型，它充分体现了人工神经网络的特点。 BP网络是一种对非线性可微分函数进行权值训练的多层网络， 在人工神经网络的实际应用中，80％～90％的人工神经网络 模型是采用BP网络或它的变化形式。
University Press. Carling, A. (1992). Introducing Neural Networks. Wilmslow, UK: Sigma
Press. Fausett, L. (1994). Fundamentals of Neural Networks. New York: Prentice
a
1.1 BP神经网络
神经元的结构
▪ 神经元是人工神经网络的基本处理单元，它一般为多输入/单输出的非 线性元件。神经元输出除受输入信号的影响外，还受神经元内部其它 因素的制约，因此在人工神经元的建模中，常常加一额外输入信号， 称为偏差(bais)，并取值为1。
输入分量
神经元的输出
权值分量
激活函数 偏差权值
Hall Haykin, S. (1994). Neural Networks: A Comprehensive Foundation. New
York: Macmillan Publishing. Patterson, D. (1996). Artificial Neural Networks. Singapore: Prentice Hall.
从爽，面向MATLAB工具箱的神经网络理论与应用，中国科学技术出版 社，合肥，1998。
焦李成，神经网络计算，西安电子科技大学出版社，西安，1993。 王永骥，涂健，神经元网络控制，机械工业出版社，北京，1998。 Bishop, C. (1995). Neural Networks for Pattern Recognition. Oxford:
激活函数是双曲正切tanh函数时，输入和输出的值范 围则在{－1,1}之间。
a
1.2 BP网络的模型结构
BP网络是一种在输入层和输出层之间具有一层或多层隐层的 网络模型，而其典型的结构为有一隐层、包含输入层和输出 层的三层网络模型。典型BP网络的结构示意图如下：
网络的输入模式 向量为P，有r个 输入神经元，对 应输入模式向量