编译器设计中的词法分析（分析器）示例

在编译器设计中执行词法分析的程序称为词法分析器或词法分析器。词法分析器包含标记器或扫描器。如果词法分析器检测到标记无效，则会生成错误。在编译器设计中，词法分析器的作用是从源代码读取字符流，检查合法标记，并在需要时将数据传递给语法分析器。

例如：

How Pleasant Is The Weather?

参见此词汇分析示例；在这里，我们可以轻松识别出有五个单词 How Pleasant、The、Weather、Is。这对我们来说非常自然，因为我们可以识别分隔符、空格和标点符号。

 HowPl easantIs Th ewe ather?

现在，看看这个例子，我们也可以读取它。但是，这需要一些时间，因为分隔符放在了奇怪的地方。这不是你能立即想到的东西。

基本术语

什么是词素？

词素是根据 token 的匹配模式包含在源程序中的字符序列。它只不过是 token 的一个实例。

什么是代币？

编译器设计中的标记是表示源程序中信息单元的字符序列。

什么是模式？

模式是 token 使用的描述。对于用作 token 的关键字，模式是字符序列。

词法分析器 Archi结构：如何识别 token

词法分析的主要任务是读取代码中的输入字符并产生标记。

词法分析器扫描程序的整个源代码。它逐个识别每个标记。扫描仪通常仅在解析器请求时才生成标记。以下是编译器设计中对标记的识别方式：

1. “获取下一个标记”是从解析器发送到词法分析器的命令。
2. 收到此命令后，词法分析器将扫描输入，直到找到下一个标记。
3. 它将令牌返回给解析器。

词法分析器在创建这些标记时会跳过空格和注释。如果出现任何错误，词法分析器会将该错误与源文件和行号关联起来。

词法分析器的作用

词法分析器执行以下给定的任务：

• 帮助将 token 识别到符号表中
• 从源程序中删除空格和注释
• 将错误消息与源程序关联起来
• 如果在源程序中找到宏，则帮助您扩展宏
• 从源程序读取输入字符

词汇分析、标记、非标记的示例

考虑输入到词法分析器的以下代码

#include <stdio.h>
    int maximum(int x, int y) {
        // This will compare 2 numbers
        if (x > y)
            return x;
        else {
            return y;
        }
    }

创建的代币示例

非代币示例

词汇错误

无法扫描成任何有效标记的字符序列是词汇错误。有关词汇错误的重要事实：

• 词汇错误并不常见，但应该由扫描仪来管理
• 标识符、运算符、关键字的拼写错误被视为词汇错误
• 一般来说，词汇错误是由某些非法字符的出现引起的，这些字符大多出现在标记的开头。

词法分析器中的错误恢复

以下是一些最常见的错误恢复技术：

• 从剩余输入中删除一个字符
• 在恐慌模式下，连续的字符总是被忽略，直到我们找到一个格式正确的标记
• 通过将缺失的字符插入到剩余的输入中
• 用另一个字符替换一个字符
• 转置两个连续字符

词法分析器与解析器

为什么要将词汇和解析器分开？

• 设计简单：通过消除不需要的标记，简化了词法分析和语法分析的过程
• 提高编译器效率：帮助你提高编译器效率
• 专业化：可以应用专门的技术来改进词汇分析过程
• 便携性：只有扫描仪需要与外界通信
• 更高的可移植性：特定于输入设备的特性仅限于词法分析器

词法分析的优点

• 词法分析器方法由编译器等程序使用，它可以使用程序员代码中的解析数据来创建编译的二进制可执行代码
• 网络浏览器使用它来格式化和显示网页，并借助解析的数据 JavaScript、HTML、CSS
• 单独的词法分析器可帮助您构建专门的、可能更高效的处理器来完成该任务

词法分析的缺点

• 您需要花费大量时间阅读源程序并将其以标记的形式进行分区
• 与 PEG 或 EBNF 规则相比，有些正则表达式相当难以理解
• 需要付出更多努力来开发和调试词法分析器及其标记描述
• 需要额外的运行时开销来生成词法分析器表并构造标记

常见问题