regex - Raku 中的否定命名正则表达式或字符类插值

Question

我正在尝试解析带引号的字符串。像这样的东西:

say '"in quotes"' ~~ / '"' <-[ " ]> * '"'/;

(来自 https://docs.raku.org/language/regexes“枚举的字符类和范围”)
但是......我想要更多一种类型的报价。这样的东西组成了不起作用的语法:

  token attribute_value { <quote> ($<-quote>) $<quote> };
  token quote           { <["']> };

我发现这个讨论是另一种方法，但似乎没有任何意义:https://github.com/Raku/problem-solving/issues/97 .
有没有办法做这种事情？谢谢!
更新 1
我无法让@user0721090601 的“多 token ”解决方案起作用。我的第一次尝试产生了:

$ ./multi-token.raku 
No such method 'quoted_string' for invocant of type 'QuotedString'
  in block <unit> at ./multi-token.raku line 16

在做了一些研究之后，我添加了 proto token quoted_string {*} :

#!/usr/bin/env raku

use Grammar::Tracer;

grammar QuotedString {
  proto token quoted_string {*}
  multi token quoted_string:sym<'> { <sym> ~ <sym> <-[']> }
  multi token quoted_string:sym<"> { <sym> ~ <sym> <-["]> }
  token quote         { <["']> }
}

my $string = '"foo"';

my $quoted-string = QuotedString.parse($string, :rule<quoted_string>);
say $quoted-string;

$ ./multi-token.raku 
quoted_string
* FAIL
(Any)

我还在学习乐，所以我可能做错了什么。
更新 2
哦!感谢@raiph 指出这一点。我忘了在 <-[']> 上加量词和 <-["]> .这就是我不假思索地复制/粘贴的结果!当你做对时，作品会找到:

#!/usr/bin/env raku

use Grammar::Tracer;

grammar QuotedString {
  proto token quoted_string (|) {*}
  multi token quoted_string:sym<'> { <sym> ~ <sym> <-[']>+ }
  multi token quoted_string:sym<"> { <sym> ~ <sym> <-["]>+ }
  token quote         { <["']> }
}

my $string = '"foo"';

my $quoted-string = QuotedString.parse($string, :rule<quoted_string>);
say $quoted-string;

更新 3
只是为了向这个鞠躬……

#!/usr/bin/env raku

grammar NegativeLookahead {
  token quoted_string { <quote> $<string>=([<!quote> .]+) $<quote> }
  token quote         { <["']> }
}

grammar MultiToken {
  proto token quoted_string (|) {*}
  multi token quoted_string:sym<'> { <sym> ~ <sym> $<string>=(<-[']>+) }
  multi token quoted_string:sym<"> { <sym> ~ <sym> $<string>=(<-["]>+) }
}

use Bench;

my $string = "'foo'";

my $bench = Bench.new;
$bench.cmpthese(10000, {
  negative-lookahead =>
    sub { NegativeLookahead.parse($string, :rule<quoted_string>); },
  multi-token        =>
    sub { MultiToken.parse($string, :rule<quoted_string>); },
});

$ ./bench.raku
Benchmark: 
Timing 10000 iterations of multi-token, negative-lookahead...
multi-token: 0.779 wallclock secs (0.759 usr 0.033 sys 0.792 cpu) @ 12838.058/s (n=10000)
negative-lookahead: 0.912 wallclock secs (0.861 usr 0.048 sys 0.909 cpu) @ 10967.522/s (n=10000)
O--------------------O---------O-------------O--------------------O
|                    | Rate    | multi-token | negative-lookahead |
O====================O=========O=============O====================O
| multi-token        | 12838/s | --          | -20%               |
| negative-lookahead | 10968/s | 25%         | --                 |
O--------------------O---------O-------------O--------------------O

我将使用“多 token ”解决方案。
谢谢大家!

Answer 1

您可以采用几种不同的方法 - 哪种方法最好可能取决于您采用的其他结构。
但首先观察您当前的解决方案，以及为什么向其他人开放它不会以这种方式工作。考虑字符串 'value" .应该解析吗？你布置的结构实际上会匹配它!那是因为每个 <quote> token 将匹配单引号或双引号。
处理内在
最简单的解决方案是让你的内部部分成为一个非贪婪的通配符:

<quote> (.*?) <quote>

一旦您再次达到报价，这将停止比赛。还要注意使用波浪号的替代语法，让两个终端位更接近:

<quote> ~ <quote> (.*?)

您最初的尝试想使用一种非匹配。这确实以断言的形式存在，<!quote>如果 <quote> 会失败被找到(它不必只是一个字符，任何复杂的东西)。但是，它不消耗，因此您需要单独提供。例如

[<!quote> .]*

将检查某些内容不是引号，然后使用下一个字符。
最后，您可以使用这两种方法之一并使用 <content>在内部处理的 token 。如果您打算稍后做更复杂的事情(例如转义字符)，这实际上是一个很好的方法。
避免不匹配
正如我所指出的，您的解决方案会解析不匹配的引号。所以我们需要有一种方法来确保我们(不)匹配的报价与开始的报价相同。一种方法是使用 multi token :

proto token attribute_value (|) { * }
multi token attribute_value:sym<'> { <sym> ~ <sym> <-[']> }
multi token attribute_value:sym<"> { <sym> ~ <sym> <-["]> }

(使用实际 token <sym> 不是必需的，如果需要，您可以将其写为 { \' <-[']> \'})。
另一种方法是传递参数(字面意思或通过动态变量)。例如，您可以编写 attribute_value作为

token attribute_value {
    $<start-quote>=<quote>      # your actual start quote
    :my $*end-quote;            # define the variable in the regex scope
    { $*end-quote = ... }       # determine the requisite end quote (e.g. ” for “)
    <attribute_value_contents>  # handle actual content
    $*end-quote                 # fancy end quote
}

token attribute_value_contents {
    # We have access to $*end-quote here, so we can use
    # either of the techniques we've described before
    # (a) using a look ahead
    [<!before $*end-quote> .]*
    # (b) being lazy (the easier)
    .*?
    # (c) using another token (described below)
    <attr_value_content_char>+
}

我提到最后一个是因为如果您最终决定允许使用转义字符，您甚至可以进一步委托(delegate)。例如，你可以这样做

proto token attr_value_content_char (|) { * }
multi token attr_value_content_char:sym<escaped> { \\ $*end-quote }
multi token attr_value_content_char:sym<literal> { . <?{ $/ ne $*end-quote }> }

但如果这对你正在做的事情来说太过分了，好吧:-)
无论如何，可能还有其他方法没有跳到我的脑海中，其他人可以想到，但这应该会让你走上正确的道路。 (还有一些代码未经测试，所以可能会有轻微错误，对此表示歉意)