parsing - 词法分析器和解析器的职责

Question

我目前正在为一种简单的编程语言实现一个词法分析器。到目前为止，我可以正确地标记标识符、赋值符号和整数文字；一般来说，空白是微不足道的。

对于输入foo = 42 ，识别了三个 token :

1. foo (标识符)
2. = (符号)
3. 42 (整数文字)

到目前为止，一切都很好。但是，考虑输入 foo = 42bar ，这是无效，因为 42 之间缺少(大量)空格。和bar 。我的词法分析器错误地识别以下标记:

1. foo (标识符)
2. = (符号)
3. 42 (整数文字)
4. bar (标识符)

一旦词法分析器看到数字 4 ，它会继续读取，直到遇到非数字。因此它消耗 2和商店42作为整数文字标记。由于空格无关紧要，因此词法分析器会丢弃所有空格(如果有)并开始读取下一个标记:它找到标识符 bar .

现在，这是我的问题:词法分析器是否仍有责任识别该位置不允许使用标识符？或者该检查是否属于解析器的职责？

Answer 1

我认为对于 42foo 是否应该被识别为无效数字或两个标记的问题没有达成共识。这是一个风格问题，这两种用法在众所周知的语言中都很常见。

例如:

$ python -c 'print 42and False'
False

$ lua -e 'print(42and false)'
lua: (command line):1: malformed number near '42a'

$ perl -le 'print 42and 0'
42

# Not an idiosyncracy of tcc; it's defined by the standard
$ tcc -D"and=&&" -run - <<<"main(){return 42and 0;}"
stdin:1: error: invalid number

# gcc has better error messages
$ gcc -D"and=&&" -x c - <<<"main(){return 42and 0;}" && ./a.out
<stdin>: In function ‘main’:
<stdin>:1:15: error: invalid suffix "and" on integer constant
<stdin>:1:21: error: expected ‘;’ before numeric constant

$ ruby -le 'print 42and 1'
42

# And now for something completely different (explained below)
$ awk 'BEGIN{print 42foo + 3}'
423

因此，这两种可能性都是通用的。

如果您因为认为数字和单词应该用空格分隔而要拒绝它，则应该在词法分析器中拒绝它。解析器无法(或不应该)知道空格是否分隔两个标记。与 42and、片段 42 + 1、42+1 和 42+ 1 的有效性无关)都应该以相同的方式进行解析。 (也许，在《堡垒》中除外。但这是一种异常情况。)如果您不介意将数字和单词放在一起，那么当(且仅当)它是语法错误时让解析器拒绝它。

顺便说明一下，在 C 和 C++ 中，42and 最初被词法为“预处理器编号”。预处理后，需要对其进行重新分析，此时会生成错误消息。这种奇怪行为的原因是，将两个片段粘贴在一起以生成有效数字是完全合法的:

$ gcc -D"c_(x,y)=x##y" -D"c(x,y)=c_(x,y)"  -x c - <<<"int main(){return c(12E,1F);}"
$ ./a.out; echo $?
120

12E 和 1F 都是无效整数，但与 ## 运算符粘贴在一起，它们形成一个完全合法的 float 。 ## 运算符仅适用于单个标记，因此 12E 和 1F 都需要作为单个标记进行词法分析。 c(12E+,1F) 不起作用，但 c(12E0,1F) 也可以。

这也是为什么在 C 语言中应该始终在 + 运算符周围放置空格:经典技巧 C 问题:“0x1E+2 的值是多少？”

最后，对 awk 行的解释:

$ awk 'BEGIN{print 42foo + 3}'
423

awk 将其词法为 BEGIN{print 42 foo + 3} ，然后将其解析为 BEGIN{print (42)(foo + 3);}。在 awk 中，字符串连接是在没有运算符的情况下编写的，但它的结合不如任何算术运算符紧密。因此，通常的建议是在涉及连接的表达式中使用显式括号，除非它们非常简单。 (此外，如果以算术方式使用，则假定 undefined variable 的值为 0；如果用作字符串，则假定为 ""。)