perl - 在语法中分离 G0 和 G1 规则的问题

Question

我试图让看起来非常基本的 Marpa 语法起作用。我使用的代码如下:

use strict;
use warnings;
use Marpa::R2;
use Data::Dumper;
my $grammar = Marpa::R2::Scanless::G->new(
    {
        source => \(<<'END_OF_SOURCE'),
            :start ::= ExprSingle
            ExprSingle ::= Expr AndExpr

            Expr ~ word

            AndExpr ~ word*
            word ~ [\w]+

            :discard ~ ws
            ws ~ [\s]+
END_OF_SOURCE
    }
);
my $reader = Marpa::R2::Scanless::R->new(
    {
        grammar => $grammar,
    }
);
my $input = 'foo';
$reader->read(\$input);
my $value = $reader->value;
print Dumper $value;

这打印 $VAR1 = \'foo'; .所以它识别一个词就好了。但我想让它识别一串单词

my $input='foo bar'

现在脚本打印:

Error in SLIF G1 read: Parse exhausted, but lexemes remain, at position 4

我想这是因为ExprSingle使用 ~ (match) 运算符，使其成为标记级别 G0 的一部分，而不是结构级别 G1； :discard规则允许 G1 规则之间有空格，而不是 G0 规则。所以我像这样改变语法:

ExprSingle ::= Expr AndExpr

现在没有打印警告，但结果值是 undef而不是包含 'foo' 的东西和 'bar' .老实说，我不确定这意味着什么，因为之前失败的解析引发了实际错误。

我尝试更改语法以进一步分离我认为的 G0 和 G1 规则，但仍然没有运气:

:start ::= ExprSingle
ExprSingle ::= Expr AndExpr

Expr ::= token

AndExpr ::= token*
token ~ word
word ~ [\w]+

:discard ~ ws
ws ~ [\s]+

最终值仍然是undef . trace_terminals显示 'foo' 和 'bar' 都被接受为 token 。我需要做什么来修复这个语法(我的意思是得到一个包含字符串 'foo' 和 'bar' 而不仅仅是 undef 的值)？

Answer 1

默认情况下，规则返回 undef 值，因此在您的情况下，从 $reader->value() 返回\undef 意味着您的解析成功。也就是说，返回 undef 意味着失败，而返回\undef 意味着成功，其中解析评估为 undef。

从更有用的语义开始的一个好的、快速的方法是添加以下行:

:default::= action =>::array

这会导致解析生成 AST。