flex词法分析器学习

第一章 介绍
flex是一个生成扫描器的工具。扫描器是一种识别文本中的词汇模式的程序。flex程序读取给定的输入文件，如果没有给出文件名，则读取其标准输入，以生成扫描器的描述。描述以正则表达式和C代码对的形式出现，称为规则。flex生成一个C源文件lex.yy.c作为输出，默认情况下，它定义了一个yylex()程序。可以对该文件进行编译，并将其与flex运行时库链接，以生成可执行文件。当可执行文件运行时，它会分析其输入中出现的正则表达式。只要找到一个，它就执行相应的C代码。

第二章一个简单的示例
首先，通过一些简单的示例了解如何使用flex。
下面的flex输入指定了一个扫描器，当它遇到字符串”username”时，它将用用户的登录名替换它：
%%
username printf( "%s", getlogin() );
默认情况下，flex扫描器不匹配的任何文本都会复制到输出中，因此此扫描器的实际效果是将其输入文件复制到输出中，每次出现”username”时都会展开。在这个输入中，只有一个规则。”username”是模式，”printf”是动作。”%%”符号表示规则的开始。
另外一个简单的例子是：
int num_lines = 0, num_chars = 0;

%%
\n      ++num_lines; ++num_chars;
.       ++num_chars;

%%

int main()

{
yylex();
printf( "# of lines = %d, # of chars = %d\n",
num_lines, num_chars );
}
该扫描器计算其输入中的字符数和行数。除了字符数和行数的最终报告外，它不产生任何输出。第一行声明了两个全局变量，num_lines和num_chars，它们可以在第二个”%%”之后声明的yylex()和main()函数中访问。有两个规则，一个匹配换行符(‘\n’)并增加行数和字符数，另外一个匹配除换行符以外的任何字符(使用”.”正则表达式)。
一个稍微复杂一点的例子：
/* scanner for a toy Pascal-like language */

%{
/* need this for the call to atof() below */
#include <math.h>
%}

DIGIT    [0-9]
ID       [a-z][a-z0-9]*

%%

{DIGIT}+    {
            printf( "An integer: %s (%d)\n", yytext,
                    atoi( yytext ) );
            }

{DIGIT}+"."{DIGIT}*        {
            printf( "A float: %s (%g)\n", yytext,
                    atof( yytext ) );
            }

if|then|begin|end|procedure|function        {
            printf( "A keyword: %s\n", yytext );
            }

{ID}        printf( "An identifier: %s\n", yytext );

"+"|"-"|"*"|"/"   printf( "An operator: %s\n", yytext );

"{"[^{}\n]*"}"     /* eat up one-line comments */

[ \t\n]+          /* eat up whitespace */

.           printf( "Unrecognized character: %s\n", yytext );

%%

int main( int argc, char **argv )
    {
    ++argv, --argc;  /* skip over program name */
    if ( argc > 0 )
            yyin = fopen( argv[0], "r" );
    else
            yyin = stdin;

    yylex();
    }

这是pascal等语言的简单扫描器的开端。它识别不同类型的标识，并报告它所看到的内容。
这个例子的细节将在下面的章节中解释。