词法分析器实验报告词法分析器设计一、实验目的：对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。

利用该词法分析器完成对源程序字符串的词法分析。

输出形式是源程序的单词符号二元式的代码，并保存到文件中。

二、实验内容：1. 设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。

理论基础：有限自动机、正规文法、正规式词法分析器(Lexical Analyzer) 又称扫描器(Scanner)：执行词法分析的程序2. 词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符,界符3. 输出的单词符号的表示形式:单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。

4. 词法分析器的结构单词符号5. 状态转换图实现三、程序设计1．总体模块设计/*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。

*/string GetText();/*获得一个单词符号,从位置i开始查找。

并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。

*/string GetWord(string str,int i,int& j);/*这个函数用来除去字符串中连续的空格和换行int DeleteNull(string str,int i);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool IsBoundary(string str,int i);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/ bool IsOperation(string str,int i);/*此函数将一个pair数组输出到一个文件中*/void OutFile(vector<pair<int,string> > v);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vector<pair<int,string> > analyst(vector<string> vec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/ bool IsKey(string str);2．各模块设计（1）.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；（2）.定义相关的变量和数据结构。

关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。

如能查到匹配的单词，则该单词为关键字，否则为一般标识符。

关键字表为一个字符串数组，其描述如下：char KEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″}；用以存放单词符号二元式的数据结构可如下定义：class Word_Analyzer{public:char Content[MAXLENGTH] ;int val ;void print();} ;（3）.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；（4）.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。

若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。

四、程序代码#include <iostream>#include <vector>#include <string>#include <fstream>using namespace std;/*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。

*/string GetText();/*获得一个单词符号,从位置i开始查找。

//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。

*/string GetWord(string str,int i,int& j);/*这个函数用来除去字符串中连续的空格和换行//第一个参数为目标字符串，第二个参数为开始位置//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/ int DeleteNull(string str,int i);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool IsBoundary(string str,int i);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/ bool IsOperation(string str,int i);/*此函数将一个pair数组输出到一个文件中*/void OutFile(vector<pair<int,string> > v);/*次函数将参数str,digit添加到temp中*/void add(string str,int digit,vector<pair<int,string> > temp);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vector<pair<int,string> > analyst(vector<string> vec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/ bool IsKey(string str);int main(){cout<<"*********************************************** **********\n";cout<<"*************编译原理课程设计--词法编译器ver 1.0*********\n";cout<<"************************************************** *******\n";cout<<endl;string com1=" ";string com2="\n";string fileline=GetText();int begin=0,end=0;vector<string> array;do{begin=DeleteNull(fileline,begin);string nowString;nowString=GetWord(fileline,begin,end);if(end==-1)break;if(pare(com1)&&pare(com2)) array.push_back(nowString);begin=end+1;}while(true);vector<pair<int,string> > mid_result;mid_result=analyst(array);OutFile(mid_result);cout<<"************************************************** *******\n";cout<<"*程序已完成词法分析，分析结果已经存储在文件"<<file_name<<"中！！！*\n";cout<<"************************************************** *******\n";cout<<"感谢使用，谢谢再见！"<<endl;system("pause");return 0;}/*提取文本文件中的信息*/string GetText(){string file_name1;cout<<"请输入源文件名（包括路径和后缀名）：";cin>>file_name1;ifstream infile(file_name1.c_str(),ios::in);if (!infile){cerr<<"无法打开文件!"<<file_name1.c_str()<<" "<<endl;exit(-1);}cout<<endl;char f[1000];infile.getline(f,1000,EOF);infile.close();printf(f);cout<<endl;return f;}/*获得一个单词符号,从位置i开始查找。

//并且有一个引用参数j，用来返回这个单词最后一个字符在原字符串的位置。

*/string GetWord(string str,int i,int& j){string no_use("(){} , ;\n+=*/-<>\"");j=str.find_first_of(no_use,i);if(j==-1)return "";if(i!=j)j--;return str.substr(i,j-i+1);}/*这个函数用来除去字符串中连续的空格和换行//第一个参数为目标字符串，第二个参数为开始位置//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/int DeleteNull(string str,int i){for(;;i++)if(str[i]!=' '&&str[i]!='\n')return i;}/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/bool IsBoundary(string str,int i){int t;char arr[7]={',',';','{','}','(',')',':'};for (t=0;t<7;t++)if(str[i]==arr[t])return true;return false;}/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/bool IsOperation(string str,int i){int t;char arr[8]={'+','-','*','/','=','<','>','&'};for (t=0;t<8;t++)if(str[i]==arr[t])return true;return false;}/*此函数将一个个字符串数组输出到一个文件中*/void OutFile(vector<pair<int,string> > v){cout<<"请输入目标文件名（包括路径和后缀名）：";cin>>file_name;ofstream outfile(file_name.c_str(),ios::out);if (!outfile){cerr<<"无法打开文件!"<<file_name.c_str()<<" "<<endl;exit(-1);}cout<<endl;int i;for(i=0;i<v.size();i++){outfile<<"<"<<v[i].first<<" ,\""<<v[i].second<<"\">"<<endl;cout<<"<"<<v[i].first<<" ,\""<<v[i].second<<"\">"<<endl;}outfile<<"\n\n*********************************\n";outfile.close();return;}/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/bool IsKey(string str){stringp[7]={"main","int","char","if","else","for","while"};vector<string> ppp(p,p+7);int u;for(u=0;u<ppp.size();u++)if(!pare(ppp[u]))return true;return false;}/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vector<pair<int,string> > analyst(vector<string> vec){vector<pair<int,string> > temp; int i;for(i=0;i<vec.size();i++){if(vec[i].size()==1){if(vec[i]==">"&&vec[i+1]=="="){string jk=vec[i];jk.append(vec[++i],0,1);pair<int,string> pp(37,jk);temp.push_back(pp);continue;}if(vec[i]=="<"&&vec[i+1]=="="){string jk=vec[i];jk.append(vec[++i],0,1);pair<int,string> pp(38,jk);temp.push_back(pp);continue;}if(vec[i]=="="&&vec[i+1]=="="){string jk=vec[i];jk.append(vec[++i],0,1);pair<int,string> pp(39,jk);temp.push_back(pp);continue;}if(vec[i]=="!"&&vec[i+1]=="="){string jk=vec[i];jk.append(vec[++i],0,1);pair<int,string> pp(40,jk);temp.push_back(pp);continue;}if(vec[i]=="&"&&vec[i+1]=="&"){string jk=vec[i];jk.append(vec[++i],0,1);pair<int,string> pp(42,jk);temp.push_back(pp);continue;}if(vec[i]=="|"&&vec[i+1]=="|"){string jk=vec[i];jk.append(vec[++i],0,1);pair<int,string> pp(43,jk);temp.push_back(pp);continue;}if(IsBoundary(vec[i],0)){if(vec[i]==","){pair<int,string> pp1(32,vec[i]);temp.push_back(pp1);}if(vec[i]==";"){pair<int,string> pp2(34,vec[i]);temp.push_back(pp2);}if(vec[i]=="{"){pair<int,string> pp3(30,vec[i]);temp.push_back(pp3);}if(vec[i]=="}"){pair<int,string> pp4(31,vec[i]);temp.push_back(pp4);}if(vec[i]=="("){pair<int,string> pp5(26,vec[i]);temp.push_back(pp5);}if(vec[i]==")"){pair<int,string> pp6(27,vec[i]);temp.push_back(pp6);}if(vec[i]==":"){pair<int,string> pp7(33,vec[i]);temp.push_back(pp7);}}else if(IsOperation(vec[i],0)){if(vec[i]=="+"){pair<int,string> pp8(22,vec[i]);temp.push_back(pp8);}if(vec[i]=="-"){pair<int,string> pp9(23,vec[i]);temp.push_back(pp9);}if(vec[i]=="*"){pair<int,string> pp10(24,vec[i]);temp.push_back(pp10);}if(vec[i]=="/"){pair<int,string> pp11(25,vec[i]);temp.push_back(pp11);}if(vec[i]=="="){pair<int,string> pp12(21,vec[i]);temp.push_back(pp12);}if(vec[i]==">"){pair<int,string> pp13(35,vec[i]);temp.push_back(pp13);}if(vec[i]=="<"){pair<int,string> pp14(36,vec[i]);temp.push_back(pp14);}if(vec[i]=="&"){pair<int,string> pp26(41,vec[i]);temp.push_back(pp26);}}else if(vec[i][0]<='9'&&vec[i][0]>='0') {pair<int,string> pp24(10,vec[i]);temp.push_back(pp24);}else{pair<int,string> pp25(10,vec[i]);temp.push_back(pp25);}}else if(vec[i][0]<='9'&&vec[i][0]>='0'){pair<int,string> pp23(3,vec[i]);temp.push_back(pp23);}else if(IsKey(vec[i])){if(vec[i]=="main"){pair<int,string> pp15(1,vec[i]);temp.push_back(pp15);}if(vec[i]=="int"){pair<int,string> pp16(2,vec[i]);temp.push_back(pp16);}if(vec[i]=="char"){pair<int,string> pp17(3,vec[i]);temp.push_back(pp17);}if(vec[i]=="else"){pair<int,string> pp18(4,vec[i]);temp.push_back(pp18);}if(vec[i]=="if"){pair<int,string> pp19(5,vec[i]);temp.push_back(pp19);}if(vec[i]=="for"){pair<int,string> pp20(6,vec[i]);temp.push_back(pp20);}if(vec[i]=="while"){pair<int,string> pp21(7,vec[i]);temp.push_back(pp21);}}else{pair<int,string> pp22(10,vec[i]);temp.push_back(pp22);}}return temp;}/*finished*/五、运行调试六、实验心得该词法分析器功能良好，可以完成预定的要求。