antlr4 如何修复词法分析器模式隐式标记错误？

Question

我与某些文本发生了 token 冲突，并正在考虑使用词法分析器模式来解决这些问题。

我在 Lexer 文件中创建模式，但是当我编译 Parser 文件时，我收到以下警告:

warning(125): TSqlParser.g4:2377:26: implicit definition of token DISK in parser
warning(125): TSqlParser.g4:2377:31: implicit definition of token TAPE in parser
warning(125): TSqlParser.g4:2377:36: implicit definition of token URL in parser

我该如何解决这个问题？

我的模式定义是:

BACKUP:                                'BACKUP' -> pushMode(BackupTokens);

mode BackupTokens:
DISK:                                  'DISK' -> popMode();
TAPE:                                  'TAPE' -> popMode();
URL:                                   'URL' -> popMode();

Answer 1

您的词法分析器语法中有几个错误:

• 这不是 popMode() 而是 popMode
• 这不是 mode BackupTokens: 而是 mode BackupTokens;

因此，当您的词法分析器语法被称为 TSqlLexer 时，其内容如下:

lexer grammar TSqlLexer;

BACKUP : 'BACKUP' -> pushMode(BackupTokens);

mode BackupTokens;
  DISK : 'DISK' -> popMode;
  TAPE : 'TAPE' -> popMode;
  URL  : 'URL'  -> popMode;

那么您的解析器语法应在其 options { ... } block 中包含正确的 tokenVocab:

parser grammar TSqlParser;

options {
  tokenVocab=TSqlLexer;
}

...

编辑

Do you know where the mode block stops? Or does it run to EOF ?

模式 block 停止在EOF处，或者在下一个模式处。

提示:在语法的最顶部定义fragment，以便您可以在所有模式中使用这些fragment:

lexer grammar TSqlLexer;

BACKUP : 'BACKUP' -> pushMode(BackupTokens);

fragment DIGIT : [0-9];

mode BackupTokens;
  ...
  A_RULE: DIGIT;

mode OtherMode;
  ...
  SOME_RULE: DIGIT+;