利用LEX自动生成词法分析程序

利用LEX自动生成词法程序 摘要：《编译原理》是国内外各高等院校计算机科学技术类专业，特别是计算机专业的一门重要专业课程。该课程系统地向学生介绍编译程序的结构、工作流程及编译程序各组成部分的设计原理和实现技术编译原理涉及词法分析，语法分析，语义分析及优化设计等各方面。词法分析阶段是编译过程的第一个阶段，是编译的基础。这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。词法分析程序实现这个任务。词法分析程序可以使用Lex等工具自动生成。本课设是用lex自动生成简单的c语言词法分析程序。 关键字：lex  c语言  词法分析程序 引言 词法分析程序是对代码中单词的分析，是编译过程的第一阶段，在这个阶段中从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。Lex是一个广泛的使用工具，UNIX系统中使用lex命令调用。它用于构造各种各样的语言词法分析程序。词法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。下面将论述lex构造简单C语言的词法分析程序，深刻地去理解词法分析。 1概述 1.1设计目标 对C语言设计并实现一个简单的词法分析器，要求能够掌握编译原理的基本理论,，理解编译程序的基本结构，掌握编译各阶段的基本理论和技术，掌握编译程序设计的基本理论和步骤.，增强编写和调试高级语言源程序的能力，掌握词法分析的基本概念和实现方法，熟悉C语言的各种Token。 1.2设计内容 用lex对C语言设计并实现一个简单的词法分析器，并用C语言代码进行测试，用二元式的方式给出测试结果。 2设计原理 基于Parser Genarator的词法分析器构造方法。Lex输入文件由3个部分组成：定义集（definition），规则集（rule）和辅助程序集（auxiliary routine）或用户程序集（user routine）。这三个部分由位于新一行第一列的双百分号分开，因此，Lex输入文件的格式如下 {definitions} %% {rules} %% {auxiliary routines} 而且第一部分用“%{”和“%}”括起来。 第一和第三个部分为C语言的代码和函数定义，第二个部分为一些规则。 2.1正规式定义 定义正则表达式如下 ID = letter letter* NUM = digit digit* Letter = a|…|z|A|…|Z Digit = 0|…|9 Keyword = else|if|int|return|void|while Special symbol = +|-|*|/|<|<=|>|>=|==|!=|=|;|，|（|）|[|]|{|}|/*|*/ White space = “ ” Enter = \n 在lex中的构造 letter [A-Za-z] digit [0-9] id ({letter}|[_])({letter}|{digit}|[_])* error_id ({digit})+({letter})+ num {digit}+ whitespace [ \t]+ enter [\n]+ 2.2转换规则定义 在Lex中的规则定义构造 定义识别保留字规则 "int"|"else"|"return"|"void"|"if"|"while" {Upper(yytext,yyleng); printf("%d 行  ",lineno); printf("%s            reserved word\n",yytext);}//保留字 定义识别数字规则 {num} {printf("%d 行  ",lineno); printf("%s            NUM\n",yytext);}//数字 定义识别专用符号规则 ","|";"|"("|")"|"{"|"}"|"*"|"/"|"+"|"-"|">"|"<"|">="|"<="|"=="|"!="|"="|"/*"|"*/" {printf("%d 行  ",lineno); printf("%s            special symbol\n",yytext);}//特殊符号 定义识别标识符规则 {id}                {printf("%d 行  ",lineno); printf("%s          ID\n",yytext);}//标识符 定义识别错误的字符串规则 当开头为数字的后面为字母的字符串时，是错误的标识符。 {error_id}          {printf("error:%s\n",yytext);}//以数字开头的字符自动报错 定义忽略空格规则 {whitespace}        {/* skip whitespace */}//忽略空格 定义忽略回车规则 {enter}            {lineno++;}//遇到回车自动加行号忽略 2.3辅助程序 辅助程序集中包括 主函数main （）和辅助函数toupper（）。 3程序代码实现 Lex代码 //定义集，包括头文件和变量定义 %{ #include #include #include #include int lineno=1;//定义行号 %} //定义正则表达式 letter [A-Za-z]  //字母 digit [0-9]      //数字 id ({letter}|[_])({letter}|{digit}|[_])*  //开头为字母的标识符 error_id ({digit})+({letter})+  //开头为数字的错误标识符 num {digit}+                    //数字集合 whitespace [ \t]+          //空格 enter [\n]+                //回车 //定义识别规则 %% //识别保留字 "int"|"else"|"return"|"void"|"if"|"while" {Upper(yytext,yyleng); printf("%d 行  ",lineno);  //打印行号 printf("%s            reserved word\n",yytext);}//输出保留字 //识别数字 {num} {printf("%d 行  ",lineno);  //打印行号 printf("%s            NUM\n",yytext);}//输出数字 //识别专用符号 ","|";"|"("|")"|"{"|"}"|"*"|"/"|"+"|"-"|">"|"<"|">="|"<="|"=="|"!="|"="|"/*"|"*/" {printf("%d 行  ",lineno); //打印行号 printf("%s            special symbol\n",yytext);}//输出特殊符号 //识别标识符 {id}                {printf("%d 行  ",lineno);//打印行号 printf("%s          ID\n",yytext);}//打印标识符 //识别错误的标识符 {error_id}          { printf("%d 行  ",lineno); printf("error:      %s\n",yytext);}//以数字开头的字符自动报错 //识别空格 {whitespace}        {/* skip whitespace */}//忽略空格 //识别回车 {enter}            {lineno++;}//遇到回车自动加行号忽略 %% //转换大小写 Upper(char *s,int l){ int i; for(i=0;i总结

初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf