python - 如何使用 spacy_langdetect 包中的 LanguageDetector()？

Question

我正在尝试使用 spacy_langdetect 包，我能找到的唯一示例代码是( https://spacy.io/universe/project/spacy-langdetect ):

import spacy
from spacy_langdetect import LanguageDetector
nlp = spacy.load("en_core_web_sm")
nlp.add_pipe(LanguageDetector(), name='language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)

它抛出错误: nlp.add_pipe 现在采用已注册组件工厂的字符串名称，而不是可调用组件。
所以我尝试使用下面的添加到我的 nlp 管道

language_detector = LanguageDetector()
nlp.add_pipe("language_detector")

但这会产生错误: 找不到语言英语(en)的“language_detector”工厂。当 spaCy 使用未在当前语言类上注册的自定义组件名称调用 nlp.create_pipe 时，通常会发生这种情况。如果您使用的是 Transformer，请确保安装“spacy-transformers”。如果您使用的是自定义组件，请确保您已添加装饰器 @Language.component(用于函数组件)或 @Language.factory(用于类组件)。
可用工厂:attribute_ruler、tok2vec、merge_noun_chunks、merge_entities、merge_subtokens、token_splitter、parser、beam_parser、entity_linker、ner、beam_ner、entity_ruler、lemmatizer、tagger、morphologizer、sender、sentencizer、textcat、textcat_multiizer、en
我不完全明白如何添加它，因为它不是一个真正的自定义组件。

Answer 1

对于非内置组件(如 LanguageDetector)的 spaCy v3.0，您必须在将其添加到 nlp 管道之前将其包装到一个函数中。在您的示例中，您可以执行以下操作:

import spacy
from spacy.language import Language
from spacy_langdetect import LanguageDetector

def get_lang_detector(nlp, name):
    return LanguageDetector()

nlp = spacy.load("en_core_web_sm")
Language.factory("language_detector", func=get_lang_detector)
nlp.add_pipe('language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)

对于内置组件(即标记器、解析器、ner 等)，请参阅:https://spacy.io/usage/processing-pipelines