E W , θ δ r r θ
隐层：
f r r 1 r 1 δ rW δ z
r
r R 1,2 ,1
R R 1 2 1 误差反向传播过程可表示为： δ δ δ δ
。
1.4、神经网络的学习与推理方法(续)
3、基本BP算法：基本BP算法的具体步骤如下：


从输入层通过隐层到输出层的传播为： ~ R 1 ~ ~ y y R f R ( z R ) f R (W R ~ y ) f R [W R F R 1 (W R 1 ~ y R 2 )] ~ ~ f R {W R f R 1[ f 1 (W 1 x )]}
， ， ，
r f 2r ( z2 2r ) r f Jr ( z J Jr )
输出为： y r f r z r θ r f1r ( z1r 1r )
~ r 1 f r (W r ~ y )

T
其中：
~ W r W r θr


T
T ~ y r 1 y r 1 1
( yk d k ) ~ ) E E yk ( y d ) yk E ( w k k k ~ ~ ~ w y w w k k k k f ( zk ) zk f ( zk ) ~ ~ ( y d ) x δ x k k k ~ zk wk zk
T ~ w T w 取连接权 k 和输入 ~ x x 1 ，输出为： k k
~ T~ yk f ( z k ) f (w k x)
1 2 ~ 误差函数为： E ( w k ) ( y k d k ) 2
， ；
1.4、神经网络的学习与推理方法(续)
误差的导数 ：
f ( z k ) 其中：δk ( yk d k ) zk
E w k E k x w k
因此，有
E θ k E δk θ k
代入最速下降法迭代关系，得学习规则：
wk (i 1) wk (i) i k x
k (i 1) k (i) i k
r p
r R 1, ,2,1
（9）修正网络的权值和阈值。
r 1 T W r (t 1) W r (t ) δ p ( yr p ) r θ r (t 1) θ r (t ) δ p
r 1,2, , R
（10）如果p ＜ q，那么p = p＋1，转到（5）；否则，转到（11）。 （11） E E E p （12）如果E ≤ε，那么训练成功，转到（14）；否则，转到（13）。 （13）如果t ＜ T，那么t = t＋1，转到（4）；否则，训练未成功，转到（14）。 （14）结束。
（6）通网络将输入模式 x p 的正传播，计算网络的输出 y p
0 初值： y p x p
r 1 r 1 r 1 r r 1 逐层计算输出：y p f W y p θ r 0,1,2, , R 1
最后一层输出：
yp yR p
。
1.4、神经网络的学习与推理方法(续)
z2 f z 1 z 2 0
if z 0 其 他
e z ez f z tanh(z ) z e ez
1.2、神经元模型(续)
• 神经网络模型
~ n1 2 n 1 两层模型的输出： y k f wkj f w ji xi j k i 1 j 1
二、遗传算法原理
遗传算法（Genetic Algorithm，GA）：起源于应用计算机模拟生 物进化系统。
基本原理：
1）将优化问题离散后的各个可行解“编码”成“个体”（或染色 体），一群个体组成“种群”； 2）将参数编码个体（如二进制字符串），各个字符（二进制码0 或1）称为“基因”； 3）父代初始种群随机产生； 4）模拟生物进化，选择“适应度”（如优化问题的目标函数）高 的个体，进行“交叉”和“变异”操作，生成子代种群。“选 择”、“交叉”和“变异”是遗传算法的三个基本操作算子； 5）对子代种群，再进行选择、交叉和变异操作，直至收敛； 6）收敛的最优个体，对应于问题的最优或次优解。
1.4、神经网络的学习与推理方法(续)
2、误差的反向传播过程
R 误差函数： E W , θ y d 2
W W1 W 2 W R


θ θ1 θ 2 θ RFra bibliotek

1 R ( y d )T ( y R d ) 2
连接权和阈值的更公式 ：
W r (i 1) W r (i ) E W , θ W r
序号 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 位串 00000 00001 00010 00011 00100 00101 00110 00111 01000 01001 01010 01011 01100 01101 01110 01111 实参数 20.1000 20.1032 20.1065 20.1097 20.1129 20.1161 20.1194 20.1226 20.1258 20.1290 20.1323 20.1355 20.1387 20.1419 20.1452 20.1484 适应值 9.99178 9.99329 9.99463 9.99581 9.99683 9.99769 9.99839 9.99893 9.99931 9.99953 9.99959 9.99949 9.99923 9.99881 9.99823 9.99749 序号 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 位串 10000 10001 10010 10011 10100 10101 10110 10111 11000 11001 11010 11011 11100 11101 11110 11111 实参数 20.1516 20.1548 20.1581 20.1613 20.1645 20.1677 20.1710 20.1742 20.1774 20.1806 20.1839 20.1871 20.1903 20.1935 20.1968 20.2000 适应值 9.99658 9.99552 9.99430 9.99292 9.99137 9.98967 9.98781 9.98578 9.98360 9.98125 9.97875 9.97609 9.97326 9.97028 9.96713 9.96382
记忆等能力；
• 通过学习和记忆而不是假设，找出输入、输出 变量之间的非线性关系（映射）
1.1、神经网络的特点
• 分布式存储信息。 • 自适应性。具有自我调节的能力， 包含：学习、自组织、泛化及训练。 • 并行性。
• 联想记忆功能。
• 自动提取特征参数。
• 容错性。
1.2、神经元模型
• 神经元：生物神经系统是由大量神经细胞（神经元）组成的 一个复杂的互联网络。
2.1 遗传算法计算步骤
遗传算法的计算步骤： 1. 对参数离散化，确定编码方案，随机给定一组初始解， 确定初始化种群； 2. 用适应度评价这组解的性能；
3. 根据评价结果，选择一定数量性能优异的解，进行交 叉、变异操作，得到一组新的解；
4. 返回到第2步，对该组新的解进行评价；
5. 若评价结果满足要求或进化过程达到设定的代数，计 算结束；否则转向第3步，继续进行交叉、变异操作。
（1）输入共有q组训练样本的样本集
{( x1 , d1 ), ( x2 , d 2 ),, ( xq ,d q )}
（2）设计网络层数，每层神经元数，激活函数；权值和阈值初始化； 设置目标误差ε，学习速率η，最大训练次数T。 （3）初始化训练次数t = 0。 （4）p = 1，总误差E = 0。 （5）输入网络一对训练样本( x p , d p )
基本BP算法
（7）计算 x p 的网误差
（8）通过网络将δ反向传播。
E P W , θ y R p dp
2

1 R ( y p d p )T ( y R p dp) 2
f R R 最后一层： δ R y p d p z p
R p


f r r 1 r 1 δ rW δ 逐层计算： z p
2.3 遗传编码与译码
• 参数空间到GA编码空间的映射称为编码；从编码空间到参数空间 的映射为解码。 • 参数空间中所有的点（潜在解）必须与GA编码空间中的个体必须 一一对应，称为编码条件。
2.3 遗传编码与译码
• 个体位串编码空间到参数空间的映射为译码，译码函数为：
算例的编码
长度为L=5的二进制编码。编码精度为
辑规则；2）模糊逻辑规则用神经网络来实现。
1.4、神经网络的学习与推理方法
• BP网络的学习：其实质是确定相邻层神经元间的连接权，
有两类学习：有教师学习和无教师学习；前者已知网络的 目标输出，后者则无目标输出。
• BP网络的学习规则：输入 x，网络输出y ，与目标输出d 间存在误差，调节连接权和阈值，使误差减小，达到不大 于目标误差的要求。
j 1 n
激活函数f (z)有以下几种形式：
1、阈值函数：
2、非线性斜面函数： 3、Sigmoid函数：
1 f z 1 e a z
1 , f z 0 ,
， f z c z ， ，
if z 0, if z 0
if z if z if z
1.3、典型的神经网络模型
• BP网络模型：BP算法是非循环多级网络的训练
算法，该算法的学习过程由正向传播和反向传播 组成。