编译原理二-------词法分析器一．问题描述词法分析程序的功能：输入源程序，输出单词符号，如图所示：单词符号处理过程：在扫描源程序字符串时，一旦识别出关键字、分隔符、标识符、无符号常数中之一，即以单词形式（各类单词均采用相同的结构，即二元式编码形式）输出。
每次调用词法分析程序，它均能自动继续扫描下去，形成下一个单词，直至整个源程序全部扫描完毕，并形成相应的单词串形式的源程序。
二．需求分析1．对给定的程序通过词法分析器能够识别一个个单词符号，并以二元式(单词类型，单词符号)显示；2．可以将要分析的程序保存到文件中进行读取；3．删除无用的空白字符、回车符、及其它非实质性符号。
三．程序设计本程序规定：(1)关键字"begin","end","if","then","else","while","write","read","do", "call","const","char","until","procedure","repeat"(2)运算符："+","-","*","/","="(3)界符："{","}","[","]",";",",",".","(",")",":"(4)其他标记如字符串，表示以字母开头的标识符。
(5)空格、回车、换行符跳过。
对于一段可能的输入代码，其结果在屏幕上显示如下：( 1 , 无符号整数)( begin , 关键字)( if , 关键字)( +, 运算符)( ；, 界符)( a , 普通标识符)关键字或标识符的判断：读入一串字符，将ASCII码在字母范围的字符存入数组中，将该数组与设置好的关键字比较，如果相等则输出是关键字，否则继续读入直至下一字符既非数字也非字母，输出为标识符；数字的判断：若跟在字母后面则一起输出为标识符，否则输出为数字；界符、运算符的判断：直接判断其ASCII码运行过程为：1．预处理：把源文件一个字符一个字符的读入词法分析程序设置的输入字符结构体数组中（输入缓冲区），读入过程要删除多余的空格；2．源程序字符数组中获得单词, 编码为二元式.：二元式采用结构体数组存储, 把单词类型和词元记录下来。
为了方便和适用起见，首先建立一个文本，进而在文本中进行pascal语言输入。
输入完毕之后，就可以进行从文本中取字符，进而把它放在一个数组中。
之后再数组中进行取字符，之前要定义一个数组，定义一个指针指向数组，为first。
之后就用一个循环依次从数组中取字符，假如是字符就放在buf中，first++；一次进行下去，期间要时刻与关键字指针数组进行比较如果相等就立马输出，并显示是关键字此时将buf置为初值，first重新指向首地址。
四．流程图Y是界符NERROR五．调试分析刚开始的时候，我的程序没有采用文件形式，结果只能输入一行代码分析一行，很不实用，后来我想到可以将分析结果保存到数组中，并将结果和结果之间用空格分隔开，这样在输出时就可以连续输出了，我将这一思想运用到了文件系统中，经过改进，现在的程序可以分析保存在文件中的比较长的代码了。
六．用户手册现将要处理的代码段保存于文件中，在本程序中，我保存的位置是D:\ hello.txt，文件内容如下图所示：点击运行程序需要先输入待分析代码的文件位置，在本程序中是D:\ hello.txt，输入后程序自动分析并输出结果。
七．运行结果点击运行程序，其分析结果如下：八．程序代码：#include <iostream>#include<string>using namespace std;#define MAX 22char ch =' ';string key[15]={"begin","end","if","then","else","while","write","read", "do", "call","const","char","until","procedure","repeat"};int Iskey(string c){ //关键字判断int i;for(i=0;i<MAX;i++) {if(key[i].compare(c)==0) return 1;}return 0;}int IsLetter(char c) { //判断是否为字母if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))) return 1; else return 0;}int IsDigit(char c){ //判断是否为数字if(c>='0'&&c<='9') return 1;else return 0;}void fenxi(FILE *fpin){string arr="";while((ch=fgetc(fpin))!=EOF) {arr="";if(ch==' '||ch=='\t'||ch=='\n'){}else if(IsLetter(ch)){while(IsLetter(ch)||IsDigit(ch)) {if((ch<='Z')&&(ch>='A')) ch=ch+32; arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);if (Iskey(arr)){cout<<arr<<"\t$关键字"<<endl;} else cout<<arr<<"\t$普通标识符"<<endl; }else if(IsDigit(ch)){while(IsDigit(ch)||ch=='.'&&IsDigit(fgetc(fpin))){ arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);cout<<arr<<"\t$无符号实数"<<endl;}else switch(ch){case'+':case'-' :case'*' :case'=' :case'/' :cout<<ch<<"\t$运算符"<<endl;break;case'(' :case')' :case'[' :case']' :case';' :case'.' :case',' :case'{' :case'}' :cout<<ch<<"\t$界符"<<endl;break;case':' :{ch=fgetc(fpin);if(ch=='=') cout<<":="<<"\t$运算符"<<endl; else {cout<<"="<<"\t$运算符"<<endl;;fseek(fpin,-1L,SEEK_CUR);}}break;case'>' :{ch=fgetc(fpin);if(ch=='=') cout<<">="<<"\t$运算符"<<endl;if(ch=='>')cout<<">>"<<"\t$输入控制符"<<endl;else {cout<<">"<<"\t$运算符"<<endl;fseek(fpin,-1L,SEEK_CUR);}}break;case'<' :{ch=fgetc(fpin);if(ch=='=')cout<<"<="<<"\t$运算符"<<endl;else if(ch=='<')cout<<"<<"<<"\t$输出控制符"<<endl; else if(ch=='>') cout<<"<>"<<"\t$运算符"<<endl;else{cout<<"<"<<"\t$运算符"<<endl;fseek(fpin,-1L,SEEK_CUR);}}break;default : cout<<ch<<"\t$无法识别字符"<<endl;}}}void main(){char in_fn[30];FILE * fpin;cout<<"请输入源文件名（包括路径和后缀名）:";for(;;){cin>>in_fn;if((fpin=fopen(in_fn,"r"))!=NULL) break;else cout<<"文件路径错误！请输入源文件名（包括路径和后缀名）:"; }cout<<"\n********************分析如下*********************"<<endl; fenxi(fpin);fclose(fpin);}九．实验总结分析通过这次实验，我对词法分析器有了一定的了解，进一步的巩固了这部分的知识。