举个例子,假设我想用单个标记元素(双星 **
)来解析大部分非结构化文本。这是我的 ANTLR 语法:
text : (plain | tag)+ ;
plain : ~(TAG) ;
tag : TAG tag_inner TAG ;
tag_inner : ~(TAG) ;
TAG : '**' ;
TEXT : ('a'..'z' | ' ' | '.')+ ;
如果我正在解析的文本在语法上是正确的,即对于每个开头 **
都有一个结束 **
,那么此语法就可以正常工作。如果 **
的数量为奇数,ANTLR 会发出错误消息并输出错误。
如何解决这个问题,以便 ANTLR 向前寻找结束双星,并且如果没有人将那个孤立的双星视为纯文本?我很确定 ANTLR 可以做到这一点,并且句法/语义谓词就是答案,但是在我们阅读了文档之后,我仍然无法解决这个问题。
最佳答案
当你扩展你的语法时,这会变得困惑! :)
但是,当然,使用谓词是可能的。这是一个演示:
T.g
grammar T;
options {
output=AST;
}
tokens {
ROOT;
PROPER_TAG;
}
parse
: text+ EOF -> ^(ROOT text+)
;
text
: (tag)=> tag // syntactic predicate here! (the `(...)=>`)
| plain
| TAG
;
plain
: ~TAG
;
tag
: TAG plain TAG -> ^(PROPER_TAG plain)
;
TAG : '**' ;
TEXT : ('a'..'z' | ' ' | '.')+ ;
Main.java
import org.antlr.runtime.*;
import org.antlr.runtime.tree.*;
import org.antlr.stringtemplate.*;
public class Main {
public static void main(String[] args) throws Exception {
TLexer lexer = new TLexer(new ANTLRStringStream("this **is** just **a simple** demo **."));
TParser parser = new TParser(new CommonTokenStream(lexer));
CommonTree tree = (CommonTree)parser.parse().getTree();
DOTTreeGenerator gen = new DOTTreeGenerator();
StringTemplate st = gen.toDOT(tree);
System.out.println(st);
}
}
运行演示
java -cp antlr-3.3.jar org.antlr.Tool T.g
javac -cp antlr-3.3.jar *.java
java -cp .:antlr-3.3.jar Main
这会产生一些 DOT-output对应于以下 AST:
(使用 graphviz-dev.appspot.com 创建的图像)
关于使用 ANTLR 解析非结构化文本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7745920/