我是 ANTLR 的新手,我正在尝试使用 C 语言目标 (antler3C) 编写一个简单的解析器。语法很简单,我想让每个规则都返回一个值,例如:
number returns [long value]
:
( INT {$value = $INT.ivalue;}
| HEX {$value = $HEX.hvalue;}
)
;
HEX returns [long hvalue]
: '0' 'x' ('0'..'9'|'a'..'f'|'A'..'F')+ {$hvalue = strtol((char*)$text->chars,NULL,16);}
;
INT returns [long ivalue]
: '0'..'9'+ {$ivalue = strtol((char*)$text->chars,NULL,10);}
;
每个规则收集它的子规则的返回值,直到最顶层的规则返回一个包含我的数据的漂亮结构。
据我所知,ANTLR 允许词法分析器规则(标记,例如“INT”和“HEX”)像解析器规则(例如“数字”)一样返回值。但是,生成的 C 代码不会编译:
error C2228: left of '.ivalue' must have class/struct/union
error C2228: left of '.hvalue' must have class/struct/union
我查了一下,错误是有道理的——标记最终成为通用的 ANTLR3_COMMON_TOKEN_struct,它不允许返回值。所以也许 C 目标只是不支持这个特性。但正如我所说,我是新手,在我着手寻找另一种方法之前,我想确认我不能这样做。
所以问题是:“antler3C 是否支持词法分析器规则的返回值,如果支持,使用它们的正确方法是什么?”
最佳答案
并不是真正的任何新信息,只是@bemace 已经提到的一些细节。
不,词法分析器规则不能有返回值。参见 The Definitive ANTLR reference 中的 4.3 规则 :
Rule Arguments and Return Values
Just like function calls, ANTLR parser and tree parser rules can have arguments and return values. ANTLR lexer rules cannot have return values [...]
有两种选择:
选项1
您可以在解析器规则 number
中转换为 long
:
number returns [long value]
: INT {$value = Long.parseLong($INT.text);}
| HEX {$value = Long.parseLong($HEX.text.substring(2), 16);}
;
选项 2
或者创建您自己的 token ,例如,一个 toLong(): long
方法:
import org.antlr.runtime.*;
public class YourToken extends CommonToken {
public YourToken(CharStream input, int type, int channel, int start, int stop) {
super(input, type, channel, start, stop);
}
// your custom method
public long toLong() {
String text = super.getText();
int radix = text.startsWith("0x") ? 16 : 10;
if(radix == 16) text = text.substring(2);
return Long.parseLong(text, radix);
}
}
并在语法的 options {...}
header 中定义以使用此标记并覆盖词法分析器类中的 emit(): Token
方法:
grammar Foo;
options{
TokenLabelType=YourToken;
}
@lexer::members {
public Token emit() {
YourToken t = new YourToken(input, state.type, state.channel,
state.tokenStartCharIndex, getCharIndex()-1);
t.setLine(state.tokenStartLine);
t.setText(state.text);
t.setCharPositionInLine(state.tokenStartCharPositionInLine);
emit(t);
return t;
}
}
parse
: number {System.out.println("parsed: "+$number.value);} EOF
;
number returns [long value]
: INT {$value = $INT.toLong();}
| HEX {$value = $HEX.toLong();}
;
HEX
: '0' 'x' ('0'..'9'|'a'..'f'|'A'..'F')+
;
INT
: '0'..'9'+
;
当您生成解析器和词法分析器并运行此测试类时:
import org.antlr.runtime.*;
import java.io.*;
public class Main {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("0xCafE");
FooLexer lexer = new FooLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
FooParser parser = new FooParser(tokens);
parser.parse();
}
}
它将产生以下输出:
parsed: 51966
在您的情况下,第一个选项似乎更实用。
请注意,如您所见,给出的示例是用 Java 编写的。我不知道 C 目标/运行时是否支持选项 2。我决定仍然发布它以便能够将它用作 SO 上的 future 引用。
关于c - ANTLR 3 C 中的 token 返回值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3929414/