《词法分析》实验报告
目录
目录错误!未定义书签。
1 实验目的错误!未定义书签。
2 实验内容错误!未定义书签。
TINY计算机语言描述错误!未定义书签。
实验要求错误!未定义书签。
3 此法分析器的程序实现错误!未定义书签。
状态转换图错误!未定义书签。
程序源码错误!未定义书签。
实验运行效果截图错误!未定义书签。
4 实验体会错误!未定义书签。
实验目的
1、学会针对DFA转换图实现相应的高级语言源程序。
2、深刻领会状态转换图的含义，逐步理解有限自动机。
3、掌握手工生成词法分析器的方法，了解词法分析器的内部工作原理。
实验内容
TINY计算机语言描述
TINY计算机语言的编译程序的词法分析部分实现。
从左到右扫描每行该语言源程序的符号，拼成单词，换成统一的内部表示（token）送给语法分析程序。
为了简化程序的编写，有具体的要求如下：
1、数仅仅是整数。
2、空白符仅仅是空格、回车符、制表符。
3、代码是自由格式。
4、注释应放在花括号之内，并且不允许嵌套
ＴＩＮＹ语言的单词
要求实现编译器的以下功能
1、按规则拼单词,并转换成二元式形式
2、删除注释行
3、删除空白符(空格、回车符、制表符)
4、列表打印源程序，按照源程序的行打印，在每行的前面加上行号，并且打印出每行包含的记号的二元形式
5、发现并定位错误
词法分析进行具体的要求
1、记号的二元式形式中种类采用枚举方法定义；其中保留字和特殊字符是每个都一个种类，标示符自己是一类，数字是一类；单词的属性就是表示的字符串值。
2、词法分析的具体功能实现是一个函数GetToken()，每次调用都对剩余的字符串分析得到一个单词或记号识别其种类，收集该记号的符号串属性，当识别一个单词完毕，采用返回值的形式返回符号的种类，同时采用程序变量的形式提供当前识别出记号的属性值。
这样配合语法分析程序的分析需要的记号及其属性，生成一个语法树。
3、标示符和保留字的词法构成相同，为了更好的实现，把语言的保留字建立一个表格存储，这样可以把保留字的识别放在标示符之后，用识别出的标示符对比该表格，如果存在该表格中则是保留字，否则是一般标示符。
此法分析器的程序实现
状态转换图
图1 TINY语言的确定有限自动机（DFA）
程序源码
#include<iostream>
using namespace std;
#include<fstream>
#include<string>
#include<iomanip>
class CA
{
public:
void getToken(); .:/.../...格式
cout<<"请输入源程序代码.cpp 文件的绝对路径："<<endl;
cin>>filename;
ifstream infile(filename,ios::in);
if(!infile)
{
cerr<<"open error!"<<endl;
abort();
}
char ch;
int count1=1;count2=0;
cout<<"第"<<count1<<" 行";
while(ch))
{
preDo(ch);
cout<<ch; //逐行打印出源程序
if(ch=='\n')
{
count1++;
cout<<"第"<<count1<<" 行";
}
}
buffer1[count2+1]='\0';
cout<<endl;
//对buffer1中的字符进行扫描
getToken();
();
cout<<endl;
cout<<"符号表：";
for (int i=0;i<m;i++)
cout<<ID[i]<<" ";
cout<<endl;
cout<<"数字表：";
for (int j=0;j<n;j++)
cout<<Cons[j]<<" ";
cout<<endl;
}
void CA::preDo(char c)
{
char *p=buffer1;
buffer1[0]='#'; //赋#给扫描缓冲区的第一个元素
count2++;
*(p+count2)=c;
if(buffer1[count2-1]=='{') //删除注释
{
if(c=='{') cout<<"注释不允许嵌套! "; //注释不允许嵌套
if(c!='}') count2--;
else count2=count2-2;
}
else if(buffer1[count2-1]==' '&&c==' ') count2--; //若干相继的空白符结合成一个if(c=='\r') count2--;
if(c=='\t') count2--;
}
void CA::getToken()
{
int n=1;
cout<<"第1行: ";
for(int i=1;i<strlen(buffer1);i++)
{
if(buffer1[i]=='\n'){n++;cout<<"\n第"<<n<<"行：" ;}
else if(isLetter(buffer1[i]))
{
string tok = "";
tok +=buffer1[i];
while(isLetter(buffer1[++i]))
tok +=buffer1[i];
int r=Search(K,(),8);
i--;
if(r!=-1)cout<<"(关键字"<<r+1<<","<<tok<<") "; //关键字编码
else
{
cout<<"(标识符,"<<tok<<") "; //标识符编码
r = InsertID((char *)());
}
}
else if(isDigit(buffer1[i]))
{
string tok = "";
tok +=buffer1[i];
while(isDigit(buffer1[++i]))
{
tok +=buffer1[i];
}
int y = InsertConst((char *)());
cout<<"(数字,"<<tok<<") ";
i--; //数字编码
}
else if (buffer1[i]==' ') {}
else
{
string tok = "";
tok +=buffer1[i];
int q=Search(K,(),18);
if(q!=-1){ cout<<"(特殊符号,"<<tok<<") "; }
else
cout<<"非法符号! ";
}
}
}
/***********************main函数*******************************/ int main()
{
CA ca;
();
cout<<endl;
return 0;
}
实验运行效果截图
实验体会
本次实验是《编译技术》的第一次实验，按理说也应该是最简单的一次实验验，但是在具体的实现过程中还是遇到了这样或那样的问题，比如对原输入串进行分析的预处理是在注释的嵌套判断上出现了问题，调试了几次才发现是出现注释时计数值本来应该减2结果减了1。
类似的错误还有，但好在最后都解决了。
除了提升了自己的动手能力外本次实验最大的收获应该是对词法分析器的运行机制有了更深入的理解了，再画状态转换的过程中也激发了我的一些关于那些复杂的语言（如c++）的词法分析器是怎样书写的联想，希望在今后的学习实践中能有更深入的学习。
最后感谢老师的悉心指导，谢谢老师！。