我使用Python中NLTK包中的WordNetLemmatizer()函数来对电影评论数据集的整个句子进行词形还原。
这是我的代码:
from nltk.stem import LancasterStemmer, WordNetLemmatizer
lemmer = WordNetLemmatizer()
def preprocess(x):
#Lemmatization
x = ' '.join([lemmer.lemmatize(w) for w in x.rstrip().split()])
# Lower case
x = x.lower()
# Remove punctuation
x = re.sub(r'[^\w\s]', '', x)
# Remove stop words
x = ' '.join([w for w in x.split() if w not in stop_words])
## EDIT CODE HERE ##
return x
df['review_clean'] = df['review'].apply(preprocess)
df中的review是我要处理的文本评论栏
在 df 上使用预处理函数后,新列 review_clean 包含清理后的文本数据,但仍然没有词形还原的文本。例如。我可以看到很多单词以 -ed、-ing 结尾。
提前致谢。
最佳答案
您必须传递“v”(动词)才能进行词形还原:
x = ' '.join([lemmer.lemmatize(w, 'w') for w in x.rstrip().split()])
<小时/>
示例:
In [11]: words = ["answered", "answering"]
In [12]: [lemmer.lemmatize(w) for w in words]
Out[12]: ['answered', 'answering']
In [13]: [lemmer.lemmatize(w, 'v') for w in words]
Out[13]: ['answer', 'answer']
关于python - 在 python 中对整个句子进行词形还原不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54845821/