江南大学物联网工程学院实验报告课程名称人工智能实验名称BP神经网络实验日期2016-04-30班级计科1305 姓名游思睿学号1030413529实验报告要求1.实验名称2.实验要求3.实验环境4.实验步骤5.实验体会一、实验目的:两个输入a、b(10以内的数),一个输出c,c=a+b。
换句话说就是教BP神经网络加法运算。
二、实验内容:Data 用来表示已经知道的数据样本的数量,也就是训练样本的数量。
In 表示对于每个样本有多少个输入变量; Out 表示对于每个样本有多少个输出变量。
Neuron 表示神经元的数量,TrainC 来表示训练的次数。
再来我们看对神经网络描述的数据定义,来看下面这张图里面的数据类型都是double 型。
d_in[Data][In] 存储Data 个样本,每个样本的In 个输入。
d_out[Data][Out] 存储Data 个样本,每个样本的Out 个输出。
我们用邻接表法来表示图 1 中的网络,w[Neuron][In] 表示某个输入对某个神经元的权重,v[Out][Neuron] 来表示某个神经元对某个输出的权重;与之对应的保存它们两个修正量的数组dw[Neuron][In] 和dv[Out][Neuron]。
数组o[Neuron] 记录的是神经元通过激活函数对外的输出,OutputData[Out] 存储BP神经网络的输出。
初始化主要是涉及两个方面的功能,一方面是对读取的训练样本数据进行归一化处理,归一化处理就是指的就是将数据转换成0~1之间。
在BP神经网络理论里面,并没有对这个进行要求,不过实际实践过程中,归一化处理是不可或缺的。
因为理论模型没考虑到,BP神经网络收敛的速率问题,一般来说神经元的输出对于0~1之间的数据非常敏感,归一化能够显著提高训练效率。
可以用以下公式来对其进行归一化,其中加个常数A 是为了防止出现0 的情况(0不能为分母)。
y=(x-MinValue+A)/(MaxValue-MinValue+A)另一方面,就是对神经元的权重进行初始化了,数据归一到了(0~1)之间,那么权重初始化为(-1~1)之间的数据,另外对修正量赋值为0函数backUpdate(i) 负责的是将预测输出的结果与样本真实的结果进行比对,然后对神经网络中涉及到的权重进行修正,也这是BP神经网络实现的关键所在。
如何求到对于w[Neuron][In] 和v[Out][Neuron] 进行修正的误差量便是关键所在!误差修正量的求法在基本模型一文中数学分析部分有解答,具体问题具体分析,落实到我们设计的这个BP神经网络上来说,需要得到的是对w[Neuron][In] 和v[Out][Neuron] 两个数据进行修正误差,误差量用数据结构dw[Neuron][In] 和 dv[Out][Neuron] 来进行存储。
那么来分析下这两个修正误差量是什么样的?推导的思路与基本模型中推导误差量的一致,这里仅列出对具体对于我们设计的BP神经网络中的数学推导过程:三、实验环境VS2010四、实验步骤(对照截图具体说明,尽量详细)#include <stdio.h>#include <time.h>#include <math.h>#include <stdlib.h>#define Data 820#define In 2#define Out 1#define Neuron 45#define TrainC 20000#define A 0.2#define B 0.4#define a 0.2#define b 0.3double d_in[Data][In],d_out[Data][Out];double w[Neuron][In],o[Neuron],v[Out][Neuron]; double Maxin[In],Minin[In],Maxout[Out],Minout[Out]; double OutputData[Out];double dv[Out][Neuron],dw[Neuron][In];double e;void writeTest(){FILE *fp1,*fp2;double r1,r2;int i;srand((unsigned)time(NULL));if((fp1=fopen("D:\\in.txt","w"))==NULL){printf("can not open the in file\n");exit(0);}if((fp2=fopen("D:\\out.txt","w"))==NULL){printf("can not open the out file\n");exit(0);}for(i=0;i<Data;i++){r1=rand()%1000/100.0;r2=rand()%1000/100.0;fprintf(fp1,"%lf %lf\n",r1,r2);fprintf(fp2,"%lf \n",r1+r2);}fclose(fp1);fclose(fp2);}void readData(){FILE *fp1,*fp2;int i,j;if((fp1=fopen("D:\\in.txt","r"))==NULL){printf("can not open the in file\n");exit(0);}for(i=0;i<Data;i++)for(j=0; j<In; j++)fscanf(fp1,"%lf",&d_in[i][j]);fclose(fp1);if((fp2=fopen("D:\\out.txt","r"))==NULL){printf("can not open the out file\n");exit(0);}for(i=0;i<Data;i++)for(j=0; j<Out; j++)fscanf(fp1,"%lf",&d_out[i][j]);fclose(fp2);}void initBPNework(){int i,j;for(i=0; i<In; i++){Minin[i]=Maxin[i]=d_in[0][i];for(j=0; j<Data; j++){Maxin[i]=Maxin[i]>d_in[j][i]?Maxin[i]:d_in[j][i];Minin[i]=Minin[i]<d_in[j][i]?Minin[i]:d_in[j][i];}}for(i=0; i<Out; i++){Minout[i]=Maxout[i]=d_out[0][i];for(j=0; j<Data; j++){Maxout[i]=Maxout[i]>d_out[j][i]?Maxout[i]:d_out[j][i];Minout[i]=Minout[i]<d_out[j][i]?Minout[i]:d_out[j][i];}}for (i = 0; i < In; i++)d_in[j][i]=(d_in[j][i]-Minin[i]+1)/(Maxin[i]-Minin[i]+1);for (i = 0; i < Out; i++)for(j = 0; j < Data; j++)d_out[j][i]=(d_out[j][i]-Minout[i]+1)/(Maxout[i]-Minout[i]+1);for (i = 0; i < Neuron; ++i)for (j = 0; j < In; ++j){w[i][j]=rand()*2.0/RAND_MAX-1;dw[i][j]=0;}for (i = 0; i < Neuron; ++i)for (j = 0; j < Out; ++j){v[j][i]=rand()*2.0/RAND_MAX-1;dv[j][i]=0;}}void computO(int var){int i,j;double sum,y;for (i = 0; i < Neuron; ++i){sum=0;for (j = 0; j < In; ++j)sum+=w[i][j]*d_in[var][j];o[i]=1/(1+exp(-1*sum));}for (i = 0; i < Out; ++i){sum=0;for (j = 0; j < Neuron; ++j)sum+=v[i][j]*o[j];OutputData[i]=sum;}}void backUpdate(int var){int i,j;double t;{t=0;for (j = 0; j < Out; ++j){t+=(OutputData[j]-d_out[var][j])*v[j][i];dv[j][i]=A*dv[j][i]+B*(OutputData[j]-d_out[var][j])*o[i];v[j][i]-=dv[j][i];}for (j = 0; j < In; ++j){dw[i][j]=a*dw[i][j]+b*t*o[i]*(1-o[i])*d_in[var][j];w[i][j]-=dw[i][j];}}}double result(double var1,double var2){int i,j;double sum,y;var1=(var1-Minin[0]+1)/(Maxin[0]-Minin[0]+1);var2=(var2-Minin[1]+1)/(Maxin[1]-Minin[1]+1);for (i = 0; i < Neuron; ++i){sum=0;sum=w[i][0]*var1+w[i][1]*var2;o[i]=1/(1+exp(-1*sum));}sum=0;for (j = 0; j < Neuron; ++j)sum+=v[0][j]*o[j];return sum*(Maxout[0]-Minout[0]+1)+Minout[0]-1;}void writeNeuron(){FILE *fp1;int i,j;if((fp1=fopen("D:\\neuron.txt","w"))==NULL){printf("can not open the neuron file\n");exit(0);}for (i = 0; i < Neuron; ++i)for (j = 0; j < In; ++j){fprintf(fp1,"%lf ",w[i][j]);}fprintf(fp1,"\n\n\n\n");for (i = 0; i < Neuron; ++i)for (j = 0; j < Out; ++j){fprintf(fp1,"%lf ",v[j][i]);}fclose(fp1);}void trainNetwork(){int i,c=0,j;do{e=0;for (i = 0; i < Data; ++i){computO(i);for (j = 0; j < Out; ++j)e+=fabs((OutputData[j]-d_out[i][j])/d_out[i][j]);backUpdate(i);}printf("%d %lf\n",c,e/Data);c++;}while(c<TrainC && e/Data>0.01);}int main(int argc, char const *argv[]){writeTest();readData();initBPNework();trainNetwork();printf("%lf \n",result(6,8) );printf("%lf \n",result(2.1,7) );printf("%lf \n",result(4.3,8) );writeNeuron();return 0;}五、实验体会教师评价优良中及格不及格教师签名日期。