https://lalrpop.github.io/lalrpop/lexer_tutorial/003_writing_custom_lexer.html 这是lalrpop官方教程的一篇文章，你言简意赅的总结一下主要讲的是什么

https://lalrpop.github.io/lalrpop/lexer_tutorial/003_writing_custom_lexer.html
这是lalrpop官方教程的一篇文章，你言简意赅的总结一下主要讲的是什么

UUUUUUUUUUUUUUUUUUUUUU
这篇文章详细介绍了如何在 LALRPOP 中编写自定义的词法分析器（lexer），以便更精确地控制输入的标记化过程。

主要内容包括：

1. 问题背景：

   • 默认情况下，LALRPOP 的内置词法分析器会跳过所有空白字符，包括换行符。
   • 在某些情况下，需要捕获空白字符并将其他字符视为注释。

2. 自定义词法分析器的实现：

   • 定义标记类型：
     • 创建一个 Tok 枚举，表示可能的标记类型，如 Space、Tab 和 Linefeed。
   • 定义错误类型：
     • 定义一个 LexicalError 枚举，表示词法分析中的错误。
   • 实现词法分析器：
     • 创建一个 Lexer 结构体，持有输入字符串的字符迭代器。
     • 为 Lexer 实现 Iterator 特性，定义如何从输入中提取标记。
     • 在 next 方法中，遍历字符流，识别空格、制表符和换行符，并返回相应的标记。

3. 在 LALRPOP 中使用自定义词法分析器：

   • 声明外部接口：
     • 在 LALRPOP 的语法文件中，使用 extern 块声明 Location 和 Error 类型，以及词法分析器的接口。
   • 定义词法分析器函数：
     • 在 extern 块中，定义一个 lexer 函数，返回一个实现了 Iterator 特性的词法分析器实例。

通过这些步骤，读者可以在 LALRPOP 中实现一个自定义的词法分析器，以满足特定的标记化需求。