spacy - 使用 spaCy Matcher 的简单示例不起作用

Question

我正在尝试使用 spaCy Matcher 工作获得以下简单示例:

import en_core_web_sm
from spacy.matcher import Matcher

nlp = en_core_web_sm.load()
matcher = Matcher(nlp.vocab)

pattern1 = [{'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}]
pattern2 = [{'LIKE_NUM': True}, {'ORTH': '.'}, {'LIKE_NUM': True}, {'ORTH': '.'}, {'LIKE_NUM': True}, {'ORTH': '.'}, {'LIKE_NUM': True}]
pattern3 = [{'IS_DIGIT': True}, {'IS_PUNCT': True}, {'IS_DIGIT': True}, {'IS_PUNCT': True}, {'IS_DIGIT': True}, {'IS_PUNCT': True}, {'IS_DIGIT': True}]

matcher.add('IP', None, pattern1, pattern2, pattern3)

doc = nlp(u'This is an IP address: 192.168.1.1')

matches = matcher(doc)

但是，没有任何模式匹配，此代码返回 []为 matches . spaCy 示例代码中提供的简单“Hello World”示例工作正常。

我究竟做错了什么？

Answer 1

使用 Matcher 时，请记住，模式中的每个字典都代表一个单独的标记。这也意味着它找到的匹配项取决于 spaCy 如何标记您的文本。默认情况下，spaCy 的英语分词器会像这样拆分您的示例文本:

>>> doc = nlp("This is an IP address: 192.168.1.1")
>>> [t.text for t in doc]
['This', 'is', 'an', 'IP', 'address', ':', '192.168.1.1']

192.168.1.1保留一个 token (客观地说，这可能是相当合理的——IP 地址可以被视为一个词)。因此，期望它的一部分是单个标记的匹配模式将不匹配。

为了改变这种行为，你可以 customise the tokenizer有一个额外的规则告诉 spaCy 在数字之间分割周期。但是，这也可能会产生其他意想不到的副作用。

因此，在您的情况下，更好的方法是使用 token 形状，可作为 token.shape_ 使用。属性。形状是描述单个字符的 token 的字符串表示，以及它们是否包含数字、大写/小写字符和标点符号。 IP 地址形状如下所示:

>>> ip_address = doc[6]
>>> ip_address.shape_
'ddd.ddd.d.d'

您可以只过滤您的文档并检查 token.shape_ == 'ddd.ddd.d.d' ，或使用 'SHAPE'作为匹配模式中的键(用于单个标记)以查找包含该形状标记的句子或短语。