东南大学自动化学院智能控制概论神经网络学习算法研究学院：姓名：学号：日期：目录1 任务要求叙述 ........................................................ 错误!未定义书签。
2 系统分析及设计原理 ............................................ 错误!未定义书签。
3 设计实现................................................................. 错误!未定义书签。
4仿真验证.. (6)5 讨论与分析............................................................. 错误!未定义书签。
一．任务要求叙述（1）任务(a) 运行算法，观察和分析现有学习算法的性能；clear all;close all;nu=20;pi=3.1415926;for i=1:nup(i)=2*pi*i/nu;t(i)=0.5*(1+cos(p(i)));endminmax=[min(p(:)) max(p(:))]net = newff([ 0 7],[6 1],{'logsig' 'purelin'},'traingd');% traingd traingdm trainlmnet.trainParam.epochs = 10000;net.trainParam.goal = 0.0001;net.trainParam.show=200;net.trainParam.lr=0.1;net.trainParam.mc=0.6; %0.9 default value; available for momentumnet = train(net,p,t);y1 = sim(net,p);figure(2);plot(p,t,'*-',p,y1,'r--')%************** test data ******************nu2=nu*3/2;for i=1:(nu2)p2(i)=2*pi*i/(nu2);t2(i)=0.5*(1+cos(p2(i)));endy2 = sim(net,p2);figure(3);plot(t2,'*-');hold on; plot(y2,'r');xlabel('times');ylabel('outputs');figure(4);plot(t2-y2);xlabel('times');ylabel('error');(b) 为了进一步提高学习逼近效果，可以采取那些措施，调节规律如何？根据所提的每种措施，修改算法程序，给出仿真效果验证、过程以及相应的曲线图，给出适当的评述；(c) 联系、结合前向神经网络的算法样本学习、测试等过程，谈谈本人对神经网络系统的一些认识和看法。
（2）要求提交完整的报告，包括：封面(题目、个人学号姓名等信息)、目录、任务要求叙述、系统分析及设计原理(包括神经网络学习过程的原理图及文字分析)、完整的设计实现过程(包括神经网络结构、参数等选择与实现、计算、原理过程等)、仿真验证(算法流程图、实现手段介绍、系统参数选择、曲线图、结合调参对响应曲线的影响给出必要的分析)、讨论与分析，总字数要求在2000以上。
二．系统分析及设计原理（1）神经网络的学习算法学习过程实质上是针对一组给定的输入),2,1(N p x p =使网络产生相应的期望输出的过程。
总的来说，神经网络的学习算法分为两大类： 有导师学习和无导师学习。
图 1：有导师指导神经网络学习方式 图 2无导师指导神经网络学习方式由上图可见，所谓有导师学习就是在训练过程中，始终存在一个期望的网络输出。
期望输出和实际输出之间的距离作为误差度量并用于调整权值。
而无导师学习指的是网络不存在一个期望的输出，因而没有直接的误差信息，因此，为实现对网络的训练，徐建立一个简洁的评价函数，以对网络的某种行为取向做出评价。
（2）多层传播网络的学习算法给定N 组样本);,;,;,(2211p p T X T X T X 。
这里i X 为i n 维输入矢量，i T 为o n 维期望的输出矢量，P i 2,1=,.假设矢量y 和o 分别表示网络的输出层和隐含层的输出矢量。
则训练过程为：(1) 选0>η，m ax E 作为最大容许误差，并将权系数,,2,1,,L l W ll=θ初始化成某一小的随机权矩阵。
0,1←←E p(2) 训练开始p p p T T X O ←←,)1(按照12,1,0),(1111)1(-=+Γ=∑=++++L r o w Orn i r j r pl r jl r r pjθ计算出各隐含层神经元的尽力输出，按照o n i L j L pi L ji L L pjL pj n L o wNet y L 2,1),()(111=+Γ=Γ=∑-=-θ计算出各输出层神经元的激励输出。
(3) 计算误差[]o k k n k E y t E 2,1,2/)(2=+-← (4) 按公式)()(Lpj L pj pj Lpjpjpj p LpjpLpj Net y t Net y y E Net E Γ'-=∂∂∂∂-=∂∂-=δ))()(())()((1111∑∑Γ'=Γ'∂∂∂∂-=∂∂∂∂-=∂∂-=++++krpj r r kj r pk kr pj r rpjr pkr pkp r pjr pj rpjp rpjp rpj Net w o Net oNet NetE Neto oE NetE δ计算出rpjL pj δδ, (5) 调整权阵系数1,-=∆r pj r pj r ji o w ηδ rpj r j ηδθ=∆(6) 若P p <,1+←p p ，跳转到（2），否则跳转到（7） (7) 若max E E <,结束，否则0,1←←E p ，跳转到（2）。
三．设计实现（1）神经网络的结构（BP 算法的神经网络结构）下图是一个多层传播结构。
即在输入层和输出层之间嵌入一层或多层隐含层的网络结构。
隐含层单元既可以与叔叔出单元相连也可以与其他隐含层单元相连。
隐含层单元与输入单元之间通过突触权系数1ij w 连接，并可用矩阵1w 表示全部关系。
隐含层单元与输出单元之间通过突触权系数21ij w 连接，全部关系可用矩阵2w 表示。
图 3：神经网络结构图（2）Maltab神经网络工具箱1函数介绍①newc()创建级联前向网络②②newff()创建前向BP网络③③newffd()创建存在输入延迟的前向网络在此次实验中，采用第二个函数即创建的是前向BP网络。
前向网络中各神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示，这种神经网络称为前向网络。
前向网络中节点分为两类，输入节点和计算节点。
每个输入节点可以有任意个输入，但只有一个输出。
而输出可以耦合到任意多个其他节点的输入。
前向网络通常可以分为不同的层，第i层的输入仅与第i-1层的输出连接。
一般认为输入节点为第一层，具有一层计算节点的网络实际上是一个两层网络。
由于输入节点和输出节点可以和外界连接，直接接受环境的影响，所以称为可见层。
而其他中间层则称为隐层。
2Newff（）函数参数介绍newff函数的格式为：net=newff(PR,[S1 S2 ...SN],{TF1 TF2...TFN},BTF,BLF,PF），函数newff建立一个可训练的前馈网络。
输入参数说明：PR：Rx2的矩阵以定义R个输入向量的最小值和最大值；Si：第i层神经元个数；TFi：第i层的传递函数，默认函数为tansig函数；BTF：训练函数，默认函数为trainlm函数；BLF：权值/阀值学习函数，默认函数为learngdm函数；PF：性能函数，默认函数为mse函数。
3程序中参数含义(1)Newff（）函数中的参数a)传递函数有三种tansig(n)=2/(1+exp(-2*n))-1logsig(n)=1/(1+exp(-n))purelin(n)=nb)训练函数有12种trainbrBayes 规范化BP训练函数trainc 循环顺序渐增训练函数traincgb Powell-Beale连接梯度BP训练函数traincgf Fletcher-Powell连接梯度BP训练函数traincgp Polak-Ribiere连接梯度BP训练函数traingda 自适应lrBP的梯度递减训练函数traingdx 动量及自适应lrBP的梯度递减训练函数trainlm Levenberg-Marquardt BP训练函数trainoss 一步正切BP训练函数trainr 随机顺序递增更新训练函数trainrp 带反弹的BP训练函数trains 顺序递增BP训练函数trainscg 量化连接梯度BP训练函数(2)其他参数net.trainParam.epochs=10000; 允许最大训练步数10000net.trainParam.goal=0.001; 训练目标最小误差0.001net.trainParam.show=200; 每间隔200步显示一次训练结果net.trainParam.lr=0.1; 学习步长0.1net.trainParam.mc=0.6; 动量因子四．仿真验证（1）参数调节方法首先改变传递函数，保持其他参数不变的条件下，将传递函数换成其余两个传递函数，观察运行结果，比较选出最符合要求的传递函数；然后使用最符合要求的传递函数，改变训练函数，同样选出最符合要求的训练函数；最后使用最符合要求的传递函数和训练函数，改变精度、步长、动量因子，比较分析，总结变化规律。
（2）调节运行结果1初始运行结果图4：初始结果minmax =0.3142 6.2832TRAINGD, Maximum epoch reached, performance goal was not met.在初始算法中，采用的是net = newff([ 0 7],[6 1],{'logsig' 'purelin'},'traingd'); 由上图发现即使最大步长为10000 Epochs，最后也没有收敛到我们所需要的精度。
这是因为traingd为单纯的梯度下降训练函数。