go - 如何正确实现 regex/cat[s]?(\b|$)/与 ragel？

Question

我想加速我用 Go 编写的程序并将正则表达式转换为有限状态机 ragel .在转换类似于 /cat[s]?(\b|$)/ 的正则表达式时，我无法弄清楚如何正确匹配输入的结尾(它匹配单词边框或输入结尾)，所以我做了这个解决方法:

package main

import(
  "strings"
  "fmt"
  "unicode"
)

func Match(data []byte) bool {
  data = []byte(strings.ToLower(string(data)))

  %%{
    machine test;
    write data;
  }%%

  cs, p, pe, eof := 0, 0, len(data), len(data)
  _ = eof

  var matchPos int

  %%{
    main := ('cat' 's'?) @{matchPos = p};

    write init;
    write exec;
  }%%

  return checkMatch(data, matchPos+1)
}

func checkMatch(data []byte, p int) bool {
  if p == len(data) {
    return true
  }
  tail := string(data[p:])
  c := []rune(tail)[0]
  if !unicode.IsLetter(c) && !unicode.IsDigit(c) {
    return true
  }
  return false
}

func main () {
  vs := []string{
    "cat",
    "cats",
    "cat and dog",
    "cats and dogs",
    "caterpillar",
  }
  for _, v := range vs {
    fmt.Printf("'%s': %v\n", v, Match([]byte(v)))
  }
}

输出是正确的:

'cat': true
'cats': true
'cat and dog': true
'cats and dogs': true
'caterpillar': false

我确实认为有更好的方法。使用 ragel 处理输入结束的“正确”方式是什么？ ?

Answer 1

当然，处理输入结束的正确方法是使用 EOF 操作。并使用一般的 Action ，像这样(减少 Match 函数):

  var matched bool

  %%{
    action setMatched {
      matched = true
    }

    main := ('cat' 's'?) %/setMatched ([ \t] >setMatched);

    write init;
    write exec;
  }%%
  // Variable generated and not used by Ragel.
  _ = _test_trans_actions

  return matched

这会产生以下输出(注意添加了一个重要的测试用例):

'cat': true
'cats': true
'cat and dog': true
'cats and dogs': true
'catspaw': false
'caterpillar': false

像这样工作:


它添加的是setMatched由 EOF 在第一台机器 ( %/setMatched ) 的一个最终状态 ( cats? ) 中触发的 Action ，或者在进入 ( >setMatched ) 第二个机器 (几乎是 \b 时) 触发的 Action ，但可以实际替换为内部 space 机器)。它消除了对 checkMatch 的需求完全地。