python - 在python中对多个单词进行分词

Question

我是 python 新手。我有一个来自 Twitter 的大数据集，我想将其标记化。 但我不知道如何标记这样的动词:“寻找、起飞、成长等等。”这对我很重要。 我的代码是:

>>> from nltk.tokenize import word_tokenize
>>> s = "I'm looking for the answer"
>>> word_tokenize(s)
['I', "'m", 'looking', 'for', 'the', 'answer']

我的数据集很大，我无法使用此页面代码: Find multi-word terms in a tokenized text in Python

那么，我该如何解决我的问题呢？

Answer 1

您需要使用词性标签，或者实际上依赖解析会更准确。我没有尝试过使用 nltk，但是使用 spaCy 你可以这样做:

import spacy
nlp = spacy.load('en_core_web_lg')
def chunk_phrasal_verbs(lemmatized_sentence):

    ph_verbs = []
    for word in nlp(lemmatized_sentence):
        if word.dep_ == 'prep' and word.head.pos_ == 'VERB':
            ph_verb = word.head.text+ ' ' + word.text
            ph_verbs.append(ph_verb)
    return ph_verbs

我还建议首先对句子进行词形还原以消除词形变化。另外，如果您需要名词短语，可以使用类似的方式使用复合关系。