实验一词法分析设计实验学时：4实验类型：综合实验要求：必修一、实验目的通过本实验的编程实践，使学生了解词法分析的任务，掌握词法分析程序设计的原理和构造方法，使学生对编译的基本概念、原理和方法有完整的和清楚的理解，并能正确地、熟练地运用。

二、实验容用VC++/VB/JAVA语言实现对C语言子集的源程序进行词法分析。

通过输入源程序从左到右对字符串进行扫描和分解，依次输出各个单词的部编码及单词符号自身值；若遇到错误则显示“Error”，然后跳过错误部分继续显示；同时进行标识符登记符号表的管理。

以下是实现词法分析设计的主要工作：（1）从源程序文件中读入字符。

（2）统计行数和列数用于错误单词的定位。

（3）删除空格类字符，包括回车、制表符空格。

（4）按拼写单词，并用（码，属性）二元式表示。

(属性值——token的机表示) （5）如果发现错误则报告出错（6）根据需要是否填写标识符表供以后各阶段使用。

单词的基本分类：◆关键字：由程序语言定义的具有固定意义的标识符。

也称为保留字例如if、for、while、printf ；单词种别码为1。

◆标识符：用以表示各种名字，如变量名、数组名、函数名；◆常数：任何数值常数。

如125, 1,0.5,3.1416；◆运算符：+、-、*、/；◆关系运算符：<、<=、= 、>、>=、<>；◆分界符：；、，、（、）、[、]；三、实验要求1、编程时注意编程风格：空行的使用、注释的使用、缩进的使用等。

2、将标识符填写的相应符号表须提供给编译程序的以后各阶段使用。

3、根据测试数据进行测试。

测试实例应包括以下三个部分:◆全部合法的输入。

◆各种组合的非法输入。

◆由记号组成的句子。

4、词法分析程序设计要求输出形式:例：输入VC++语言的实例程序：If i=0 then n++;a﹤= 3b %);输出形式为：单词二元序列类型位置（行，列）（单词种别，单词属性）for (1,for ) 关键字（1，1）i ( 6,i ) 标识符（1，2）= ( 4，= ) 关系运算符（1，3）0 ( 5，0 ) 常数（1，4）then ( 1，then) 关键字（1，5）n (6,n ) 标识符（1，6）++ Error Error （1，7）；( 2, ; ) 分界符（1，8）a (6,a ) 标识符（2，1）﹤= (4,<= ) 关系运算符（2，2）3b Error Error （2，4）% Error Error （2，4）) ( 2, ) ) 分界符（2，5）；( 2, ; ) 分界符（2，6）实验报告正文：◆功能描述：该程序具有词法分析功能，即面对一段程序源代码，通过该程序，能检查出源代码是否由词法错误。

◆三、词法分析实验设计思想及算法：◆首先构造六个表，key[]={"auto","break","case","catch","char","class","const","continue","default","delete","do","double","else","enum","float","for","if","int","lo ng","new","private","protected","public","register","return","short","st atic","struct","switch","this","void","while","then"};关键字表, 单词种别码1;Delimiter[]={";","(",")","[","]",",",".","{","}"};分界符表单词种别码2 Operator[]={"+","-","*","/"};算术运算符表单词种别码3R_operators[]={"<","<=","==",">",">="},关键字表, 单词种别码1;string Number[100];常数表单词种别码5;string Identifier[100];标示符表单词种别码6;构造关键字判断函数Iskey(),字母判断函数Isletter(),数字判断函数Isnumber(); 构造标示符判别函数InsertId()，若输入的标示符在标示符数组Identifier []中，返回其下标，若不在，将该标示符插到数组末尾。

构造标示符判别函数InsertNumber()，若输入的数字在数字数组Number[]中，返回其下标，若不在，将该数字插到数组末尾。

具体分析函数analyse()具体实现输入源代码的识别。

anaiyse()构造思路，程序设计图：综合以上分析，画出整个程序的运行分析程序图，如下：整个程序的运行分析程序图◆软件的测试方法和测试结果：首先，将要分析的源代码写入一个文本，存于磁盘中，然后运行程序，输入源代码文件存放的路径，若输入路径正确，程序将自动分析源代码，若输入路径不正确，程序将显示，路径错误，请重新输入的提示。

下面为具体的运行实例：源代码为：If i=0 then n++;a﹤= 3b %)输出满足要求。

◆实验总结（设计的特点、不足、收获与体会）：通过此次实验，让我了解到如何设计、编制并调试词法分析程序，熟悉了构造词法分析程序的手工方式的相关原理，加深了对编译原理词法分析的理解，本次使用C++语言直接编写此法分析程序，也让我重新熟悉了C++语言的相关容，加深了对C++语言的用途的理解。

本程序的数据输入采取直接从文件中读取，而不是由键盘输入，因此在测试过程中，输入得到大大简化，但是本程序的关键字表只初始化了一部分关键字，还可继续扩充（只需扩大数组，向其中补充要添加的关键字），而且程序的测试数据存在不足，程序可能存在未发现的漏洞，以上两点有待改善。

附录该程序的源代码：#include <iostream>#include<string>using namespace std;//数据定义#define MAX 33char ch =' ';static int line=1,row=0;int NumberCount=0,IdCount=0; stringkey[]={"auto","break","case","catch","cha r","class","const","continue","default","de lete","do","double", "else","enum","float","for","if","int","long" ,"new","private","protected","public","reg ister","return","short","static", "struct","switch","this","void","while","the n"};//关键字表单词种别码1stringDelimiter[]={";","(",")","[","]",",",".","{","}"};/ /分界符表单词种别码2string Operator[]={"+","-","*","/"};//算术运算符表单词种别码3stringR_operators[]={"<","<=","==",">",">="};/ /关系运算符表单词种别码4string Number[100];//常数表单词种别码5 string Identifier[100];//标示符表单词种别码6//数据分析int Iskey(string c){ //关键字判断int i;for(i=0;i<MAX;i++) {if(key[i].compare(c)==0) return 1;}return 0;}//判断是否为字母int IsLetter(char c) {if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>=' A'))) {if((ch<='Z')&&(ch>='A'))ch=ch+32; //转换成小写return 1;}else return 0;}int IsNumber(char c){ //判断是否为数字if(c>='0'&&c<='9') return 1;else return 0;}//将arr中的标示符插入符号表并且返回符号表的指针int InsertId(string s){for(int i=0;i<IdCount;i++){if(Identifier[i]==s){return i;break;}else if(IdCount==i+1){Identifier[IdCount]=s;return IdCount;IdCount++;}}}//将arr中的常实数插入常数表并且返回常数表的指针int InsertNumber(string s){for(int i=0;i<NumberCount;i++){if(Number[i]==s){return i;break;}else if(NumberCount==i+1){Number[NumberCount]=s;return NumberCount;NumberCount++;}}}void analyse(FILE *fpin){//arr相当于课本中的strTokenstring arr="";while((ch=fgetc(fpin))!=EOF) //判断是否读取到文件末尾或者读取出错{arr="";if(ch==' '||ch=='\t'||ch=='\n')//删除空格类字符，包括回车、制表符空格{if(ch=='\n'){line++;row=0;}}else if(IsLetter(ch)){while(IsLetter(ch)||IsNumber(ch)){arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);//文件指针回移一个位置if (Iskey(arr)){row++; //识别出一个字符，列增加一cout<<arr<<"\t\t( 1,"<<arr<<")"<<"\t\t关键字"<<"\t\t("<<line<<","<<row<<")"<<endl;}else{row++; //识别出一个字符，列增加一InsertId(arr);cout<<arr<<"\t\t( 6,"<<arr<<")"<< "\t\t标识符"<<"\t\t("<<line<<","<<row<<")"<<en dl;}}//处理常数else if(IsNumber(ch)){while(IsNumber(ch))//||ch=='.'&&IsNum ber(fgetc(fpin)){arr=arr+ch;ch=fgetc(fpin);}if(IsLetter(ch)){while(IsLetter(ch)||IsNumber(ch)){arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);row++;cout<<arr<<"\t\tError"<<"\t\tError"<<" \t\t("<<line<<","<<row<<")"<<endl;}else{InsertNumber(arr);row++; //识别出一个字符，列增加一cout<<arr<<"\t\t( 5,"<<arr<<")"<<"\t\t 常数"<<"\t\t("<<line<<","<<row<<")"<<en dl;}}//处理算符else{row++;arr=ch;switch(ch){case'+':{ch=fgetc(fpin);if(ch=='('||IsNumber(ch)||IsLetter(ch) ){fseek(fpin,-1L,SEEK_CUR);cout<<"+"<<"\t\t( 3,+ )"<<"\t\t算术运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl; }elsecout<<arr+ch<<"\t\tError"<<"\t\tError" <<"\t\t("<<line<<","<<row<<")"<<endl ;}break;case'-' :{ch=fgetc(fpin);if(ch=='('||IsNumber(ch)||IsLetter(ch)) {fseek(fpin,-1L,SEEK_CUR);cout<<"-" <<"\t\t( 3,- )"<<"\t\t算术运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;}else{cout<<arr+ch<<"\t\tError"<<"\t\tEr ror"<<"\t\t("<<line<<","<<row<<")"<< endl;}}break;case'*' :cout<<"-"<<"\t\t( 3,*)"<<"\t\t算术运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;case'=' :{ch=fgetc(fpin);if(ch=='='){cout<<"=="<<"\t\t( 4,== )"<<"\t\t关系运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;}else{fseek(fpin,-1L,SEEK_CUR);cout< <"="<<"\t\t( 4,=)"<<"\t\t关系运算符"<<"\t("<<line<<","<<row<<")"<<endl; }}break;case'/' :cout<<ch<<"\t\t( 3,"<<ch<<" )" <<"\t\t算术运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;;break;case'(' :case')' :case'[' :case']' :case';' :case'.' :case',' :case'{' :case'}' :cout<<ch<<"\t\t( 2,"<<ch<<")"< <"\t\t分界符"<<"\t\t("<<line<<","<<row<<")"<<en dl;break;case'>' :{ch=fgetc(fpin);if(ch=='=')cout<<">="<<"\t\t( 4,>=)"< <"\t\t关系运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;else {cout<<">"<<"\t\t( 4,> )"<<"\t\t关系运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;fseek(fpin,-1L,SEEK_CUR);}}break;case'<' :{ch=fgetc(fpin);if(ch=='=')cout<<"<="<<"\t\t( 4,<=)"< <"\t\t关系运算符"<<"\t("<<line<<","<<row<<")"<<endl;elseif(ch=='>')cout<<"<>"<<"\t\t( 4,<>)"< <"\t\t关系运算符"<<"\t("<<line<<","<<row<<")"<<endl; else{cout<<"<"<<"\t\t( 4,< )"<<"\t\t关系运算符实用文档标准"<<"\t("<<line<<","<<row<<")"<<endl; fseek(fpin,-1L,SEEK_CUR);} }break;default :cout<<ch<<"\t\tError"<<"\t\tError"<<"\t\t("<<line<<","<<row<<")"<<endl;brea k; } }}}int main(){char in_fn[30]; FILE * fpin;cout<<"请输入源文件名（包括路径和后缀名）:"; for(;;){ cin>>in_fn;if((fpin=fopen(in_fn,"r"))!=NULL) break;else cout<<"文件路径错误！请输入源文件名（包括路径和后缀名）:"; }cout<<"\n********************分析如下*********************"<<endl; cout<<"单词 二元序列 类型 位置（行，列） "<<endl;analyse(fpin); fclose(fpin); return 0; }。