【自制】【Python】【编译原理】词法分析器和语法分析器

白冥 · 发表于昨天 21:14

这段代码是一个完整的**词法分析器（Lexer）**和**语法分析器（Parser）**的实现，分为以下几个关键部分：

### 1. **Token 类**
- `Token`类用于表示一个词法单元，包括`type`和`value`两个属性，用于标识词法单元的类型和其原始字符串。

### 2. **Lexer 类**
- `Lexer`类用于对输入代码进行词法分析，将其分解为一系列词法单元（tokens）。
- `token_regex_patterns`属性定义了多种正则表达式模式，每个模式都对应一种词法单元类型，例如注释、字符串、布尔值、关键字、操作符等。
- `tokenize`方法是词法分析的核心。它通过匹配正则表达式模式来生成词法单元列表。
  - 每次匹配一个词法单元后，将其存入`token_list`，并移除已匹配的源代码部分，直到源代码处理完毕。
  - `_unescape_string`方法用于处理字符串中的转义字符，如`"\n"`、`"\t"`等。

### 3. **ASTNode 类**
- `ASTNode`类表示一个语法树节点，包括节点符号（symbol）和子节点（children）。
- 提供了`insert_child`方法，用于向节点添加子节点，以及`print_ast`方法递归打印语法树结构。

### 4. **Parser 类**
- `Parser`类用于根据定义的上下文无关文法将词法单元序列解析为语法树（AST）。
- `grammar_production`属性定义了语法产生式规则，表示从顶层结构（如`program`）到基本结构的递归展开。
- `mutually_exclusive`属性用于标识一些可以互斥的结构（例如不同类型的表达式或语句）。
- `first_set`和`follow_set`用来存储符号的First集和Follow集，辅助生成解析表。
- `parse_table`是预测解析表，用于决定在语法分析过程中，遇到某个词法单元时应应用的语法规则。

#### 核心解析方法：
- `parse`方法是解析器的核心，它使用LL(1)解析算法，根据`parse_table`从`token_list`中构建语法树。
  - `stack`维护语法分析中的栈，初始时为`program`，即整个程序的根节点。
  - `node_stack`用于维护AST节点，递归插入符合文法的子节点，生成语法树。
  - `parse_table`指导栈在遇到特定的`top`和`current_token`时，决定展开哪一个文法产生式。
- `_get_first_set`和`_get_follow_set`方法用于构建First集和Follow集。
- `_get_parse_table`使用First集和Follow集生成解析表。

### 5. **错误处理**
- `Lexer`类的`tokenize`方法在无法匹配任何模式时抛出异常，指出无法解析的字符。
- `Parser`类的`parse`方法在遇到无法处理的词法单元或未定义的解析表条目时也会抛出异常。

### 总结
该代码实现了一个从词法分析到语法解析的完整流程，将源代码解析为语法树。

非常普通的代码，学过一些编译原理的计科生都会写

由于源代码是用python写的，运行会很慢
主要是针对JavaScript写的分析器，不过非常简陋
按理说应该再写一个语义分析器的（编译器的前端：1、词法分析器->2、语法分析器->3、语义分析器），但是代码已经太长了，已经花了我一周时间来测试，抽不出时间来接着写

大家问我为什么这几星期怎么不在？因为缺钱了，所以去接单写代码去了

关于小说的问题，我会继续写的，我不可能要断更