java - 除了行和列之外，如何跟踪 token 的偏移位置？

Question

除了 beginLine、beginColumn、endLine 和 endColumn 之外，是否还有选项或某种方法来保留标记的源偏移位置？

我可能必须使用TOKEN_EXTENDS、COMMON_TOKEN_ACTION(或TOKEN_FACTORY)选项来存储额外的 token 信息，但我不会不知道如何检索 token 的偏移量。有什么想法吗？

我正在寻找一个纯粹的解析器解决方案，这意味着，没有与实际文档交互(我可以用它来计算之后的偏移量)。

Answer 1

我过去使用过的一个作弊方法是选择偏移量的默认行/列信息。如果您不需要行/列信息，您可以执行以下操作:

options {
    COMMON_TOKEN_ACTION = true;
}
...
TOKEN_MGR_DECLS : {
    static long offset = 0;
    static void CommonTokenAction(Token t) {
        // Poor-man's re-initialization.
        if ((t.beginLine == 1) && (t.beginColumn == 0)) { offset = 0; }
        offset += t.image.length();
        t.beginLine = (int)(offset >> 32);
        t.endLine = (int)(offset);
    }
}

token 管理器和解析器都不依赖行/列信息，因此这样做是安全的。同样可以恢复 token t的偏移信息。

如果您确实需要保留行/列信息，您可以指定 token 类型的基类以及 token 工厂:

options {
    TOKEN_EXTENDS = "my.AbstractToken";
    TOKEN_FACTORY = "my.TokenFactory";
}
...

定义基本 token 类:

package my;
public abstract class AbstractToken {
    private long offset;
    protected AbstractToken() {
        // The offset hasn't been initialized.
        offset = -1;
    }
    public long getOffset() { return this.offset; }
    void setOffset(long offset) { this.offset = offset; }
}

并定义 token 工厂:

package my;
public class TokenFactory {
    private static long offset = 0;
    public static Token newToken(int kind, String image) {
        Token token = new Token(kind, image);
        token.setOffset(offset);
        offset += image.length();
    }
}

您必须为下一次解析手动重置偏移量。我已经掩盖了一些其他细节，但值得注意的是，任何 SKIP 定义都应转换为 SPECIAL_TOKEN 定义，以便提前忽略空白的偏移量.