为什么 python 自带的 french tokenizer 对我不起作用? 我做错了什么吗?
我在做
import nltk
content_french = ["Les astronomes amateurs jouent également un rôle important en recherche; les plus sérieux participant couramment au suivi d'étoiles variables, à la découverte de nouveaux astéroïdes et de nouvelles comètes, etc.", 'Séquence vidéo.', "John Richard Bond explique le rôle de l'astronomie."]
tokenizer = nltk.data.load('tokenizers/punkt/PY3/french.pickle')
for i in content_french:
print(i)
print(tokenizer.tokenize(i))
但我得到的是非标记化的输出
John Richard Bond explique le rôle de l'astronomie.
["John Richard Bond explique le rôle de l'astronomie."]
最佳答案
tokenizer.tokenize()
是句子分词器(分割器)。如果你想标记单词然后使用 word_tokenize()
:
import nltk
from nltk.tokenize import word_tokenize
content_french = ["Les astronomes amateurs jouent également un rôle important en recherche; les plus sérieux participant couramment au suivi d'étoiles variables, à la découverte de nouveaux astéroïdes et de nouvelles comètes, etc.", 'Séquence vidéo.', "John Richard Bond explique le rôle de l'astronomie."]
for i in content_french:
print(i)
print(word_tokenize(i, language='french'))
关于python - python 中的 Nltk 法语分词器无法正常工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42428390/