python - spacy 标记化合并了错误的标记

Question

我想使用 spacy 来标记维基百科的抓取内容。理想情况下它会像这样工作:

text = 'procedure that arbitrates competing models or hypotheses.[2][3] Researchers also use experimentation to test existing theories or new hypotheses to support or disprove them.[3][4]'

# run spacy
spacy_en = spacy.load("en")
doc = spacy_en(text, disable=['tagger', 'ner'])
tokens = [tok.text.lower() for tok in doc]

# desired output
# tokens = [..., 'models', 'or', 'hypotheses', '.', '[2][3]', 'Researchers', ...

# actual output
# tokens = [..., 'models', 'or', 'hypotheses.[2][3', ']', 'Researchers', ...]

问题在于“假设。[2][3]”被粘合在一起形成一个 token 。

如何防止 spacy 将这个“[2][3]”连接到前一个 token ？ 只要是从假设这个词和句末的点分开就可以了，我不在乎它是如何处理的。但个别单词和语法应该远离句法噪音。

例如，以下任何一个都是理想的输出:

• “假设”、“.”、“[2][”、“3]”
• '假设'、'.'、'[2'、'][3]'

Answer 1

我认为你可以尝试使用中缀:

import re
import spacy
from spacy.tokenizer import Tokenizer

infix_re = re.compile(r'''[.]''')

def custom_tokenizer(nlp):
  return Tokenizer(nlp.vocab, infix_finditer=infix_re.finditer)

nlp = spacy.load('en')
nlp.tokenizer = custom_tokenizer(nlp)
doc = nlp(u"hello-world! I am hypothesis.[2][3]")
print([t.text for t in doc])

更多相关信息https://spacy.io/usage/linguistic-features#native-tokenizers