《词法分析》实验报告目录目录 01 实验目的 (1)2 实验内容 (1)2、1 TINY计算机语言描述 (1)2、2 实验要求 (1)3 此法分析器的程序实现 (2)3、1 状态转换图 (2)3、2 程序源码 (3)3、3 实验运行效果截图 (8)4 实验体会 (8)1实验目的1、学会针对DFA转换图实现相应的高级语言源程序。
2、深刻领会状态转换图的含义,逐步理解有限自动机。
3、掌握手工生成词法分析器的方法,了解词法分析器的内部工作原理。
2实验内容2.1TINY计算机语言描述TINY计算机语言的编译程序的词法分析部分实现。
从左到右扫描每行该语言源程序的符号,拼成单词,换成统一的内部表示(token)送给语法分析程序。
为了简化程序的编写,有具体的要求如下:1、数仅仅就是整数。
2、空白符仅仅就是空格、回车符、制表符。
3、代码就是自由格式。
4、注释应放在花括号之内,并且不允许嵌套ＴＩＮＹ语言的单词2.2实验要求要求实现编译器的以下功能1、按规则拼单词,并转换成二元式形式2、删除注释行3、删除空白符(空格、回车符、制表符)4、列表打印源程序,按照源程序的行打印,在每行的前面加上行号,并且打印出每行包含的记号的二元形式5、发现并定位错误词法分析进行具体的要求1、记号的二元式形式中种类采用枚举方法定义;其中保留字与特殊字符就是每个都一个种类,标示符自己就是一类,数字就是一类;单词的属性就就是表示的字符串值。
2、词法分析的具体功能实现就是一个函数GetToken(),每次调用都对剩余的字符串分析得到一个单词或记号识别其种类,收集该记号的符号串属性,当识别一个单词完毕,采用返回值的形式返回符号的种类,同时采用程序变量的形式提供当前识别出记号的属性值。
这样配合语法分析程序的分析需要的记号及其属性,生成一个语法树。
3、标示符与保留字的词法构成相同,为了更好的实现,把语言的保留字建立一个表格存储,这样可以把保留字的识别放在标示符之后,用识别出的标示符对比该表格,如果存在该表格中则就是保留字,否则就是一般标示符。
3此法分析器的程序实现3.1状态转换图图1 TINY语言的确定有限自动机(DFA)3.2程序源码#include<iostream>using namespace std;#include<fstream>#include<string>#include<iomanip>class CA{public:void getToken(); //识别标识符void preDo(char ); //预处理源程序void display(); //打印出CA(){m=n=0;}private:long count2;char ID[10][10]; //符号表int m; //设m为符号表中已有的标识符的个数char Cons[10][10]; //常数表int n; //设n为常数表中已有的常数的个数char buffer1[99999];bool isDigit(char);//检查就是否为数字bool isLetter(char);//检查就是否为字符int InsertID(char *strToken);//添加符号int InsertConst(char *strToken);//添加符号int Search(char a[][10],const char *,int ); //二分查找};//enum variety{标识符,数字,关键字1,关键字2,关键字3,关键字4,关键字5,关键字6,关键字7,关键字8,特殊符号1,// 特殊符号2,特殊符号3,特殊符号4,特殊符号5,特殊符号6,特殊符号7,特殊符号8,特殊符号9,特殊符号10};//关键字bi编码1 2 3 4 5 6 7 8char K[18][10]={"else","end","if","read","repeat","then","until","write","%","*","+","-","/",":",";","<","=",">"};bool CA::isDigit(char c){if(c<='9'&&c>='0') return true;else return false;}bool CA::isLetter(char c){if(c>='a'&&c<='z'||c>='A'&&c<='Z') return true;else return false;}int CA::Search(char a[18][10],const char *b,int n){int left=0;int right=n-1;int mid=0;while(left<=right){mid=(left+right)/2;if(strcmp(a[mid],b)==0) return mid;else if(strcmp(a[mid],b)<0) left=mid+1;else right=mid-1;}return -1;}int CA::InsertID(char *strToken){int i=0;while (i<m) //设m为符号表中已有的标识符的个数{if (!strcmp(ID[i], strToken))return i;i++;}strcpy(ID[i],strToken);m++;return i;}int CA::InsertConst(char *strToken){int i=0;while (i<n) //设n为常数表中已有的常数的个数{if (!strcmp(Cons[i], strToken))return i;i++;}strcpy(Cons[i],strToken);n++;return i;}void CA::display(){char filename[30];//输入的时候一定要就是、、、:/、、、/、、、格式cout<<"请输入源程序代码、cpp 文件的绝对路径:"<<endl;cin>>filename;ifstream infile(filename,ios::in);if(!infile){cerr<<"open error!"<<endl;abort();}char ch;int count1=1;count2=0;cout<<"第"<<count1<<" 行";while(infile、get(ch)){preDo(ch);cout<<ch; //逐行打印出源程序if(ch=='\n'){count1++;cout<<"第"<<count1<<" 行";}}buffer1[count2+1]='\0';cout<<endl;//对buffer1中的字符进行扫描getToken();infile、close();cout<<endl;cout<<"符号表:";for (int i=0;i<m;i++)cout<<ID[i]<<" ";cout<<endl;cout<<"数字表:";for (int j=0;j<n;j++)cout<<Cons[j]<<" ";cout<<endl;}void CA::preDo(char c){char *p=buffer1;buffer1[0]='#'; //赋#给扫描缓冲区的第一个元素count2++;*(p+count2)=c;if(buffer1[count2-1]=='{') //删除注释{if(c=='{') cout<<"注释不允许嵌套! "; //注释不允许嵌套if(c!='}') count2--;else count2=count2-2;}else if(buffer1[count2-1]==' '&&c==' ') count2--; //若干相继的空白符结合成一个if(c=='\r') count2--;if(c=='\t') count2--;}void CA::getToken(){int n=1;cout<<"第1行: ";for(int i=1;i<strlen(buffer1);i++){if(buffer1[i]=='\n'){n++;cout<<"\n第"<<n<<"行:" ;}else if(isLetter(buffer1[i])){string tok = "";tok +=buffer1[i];while(isLetter(buffer1[++i]))tok +=buffer1[i];int r=Search(K,tok、c_str(),8);i--;if(r!=-1)cout<<"(关键字"<<r+1<<","<<tok<<") "; //关键字编码else{cout<<"(标识符,"<<tok<<") "; //标识符编码r = InsertID((char *)tok、c_str());}}else if(isDigit(buffer1[i])){string tok = "";tok +=buffer1[i];while(isDigit(buffer1[++i])){tok +=buffer1[i];}int y = InsertConst((char *)tok、c_str());cout<<"(数字,"<<tok<<") ";i--; //数字编码}else if (buffer1[i]==' ') {}else{string tok = "";tok +=buffer1[i];int q=Search(K,tok、c_str(),18);if(q!=-1){ cout<<"(特殊符号,"<<tok<<") "; }elsecout<<"非法符号! ";}}}/***********************main函数*******************************/ int main(){CA ca;ca、display();cout<<endl;return 0;}3.3实验运行效果截图4实验体会本次实验就是《编译技术》的第一次实验,按理说也应该就是最简单的一次实验验,但就是在具体的实现过程中还就是遇到了这样或那样的问题,比如对原输入串进行分析的预处理就是在注释的嵌套判断上出现了问题,调试了几次才发现就是出现注释时计数值本来应该减2结果减了1。