《Engineering a Complier》学习笔记（二）

Scanner扫描器（又称词法分析器）

参考：https://blog.csdn.net/errvv/article/details/50605332?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~first_rank_v2~rank_v25-1-50605332.nonecase&utm_term=扫描器概念%20编译原理

Scanner扫描器，又称词法分析器，将离散的字符转换为word stream。

1. 状态图和FA

利用状态转换图对符号串进行识别的方法是一个自顶向下的分析算法。

用状态图表示的字符和数字分析：

有限自动机(FA)，是一个5维的元组( S, Σ, δ, S0, SA)，用来存储状态机之间状态的转换。

S：表示所有状态的集合，包括Se代表错误状态
Σ：表示识别字符的集合
δ( s, c) ：表示不同状态转移方程的集合
S0：自动机的初始态
SA：代表可接受的状态的集合，在状态图中用双圆表示。满足：SA∈S

在识别字符串中的示例：

在识别数字时，以无符号数为例，由于数字以0开头只有一个数字0，所以可以将0~9的状态设置为自循环状态，如下图：

有限自动机：

一个确定的有限自动机(DFA)实际上是相应的状态转换图的一种形式描述，或者说，是状态转移矩阵的另一种表示。

2. 正则表达式法描述

正则表达式法（RE）和有限状态机（FA）在描述同一语言类的意义下是相互等价的，可以相互转换:

n(ew|ot)

等价于

正则表达式法的3种基本操作：

1. Alternation：

R | S <=> { x | x ∈ R or x ∈ S}

2. Concatenation：

RS <=> { xy | x ∈ R and y ∈ S}

3. Closure：表示和自己的 Concatenation

R³ <=> ( R | RR | RRR)

“1. If a ∈ Σ, then a is also an re denoting the set containing only a.
2. If r and s are res, denoting sets L( r) and L( s), respectively, then r | s is an re denoting the union, or alternation, of L( r) and L( s),
rs is an re denoting the concatenation of L( r) and L( s), respectively, and
r* is an re denoting the Kleene closure of L( r).
3. ϵ is an re denoting the set containing only the empty string.”

摘录来自: Keith D. Cooper. “Engineering a Compiler。”

示例，用RE识别C++和JAVA中的注释：