我刚开始使用 NLTK，我不太明白如何从文本中获取单词列表。如果我使用 nltk.word_tokenize()，我会得到一个单词和标点符号列表。我只需要单词。我怎样才能摆脱标点符号？ word_tokenize 也不适用于多个句子:在最后一个单词中添加点。
最佳答案
查看 nltk 提供的其他标记化选项 here .例如，您可以定义一个分词器，它挑选出字母数字字符序列作为 token 并丢弃其他所有内容:
from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'\w+')
tokenizer.tokenize('Eighty-seven miles to go, yet. Onward!')
输出:
['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward']
关于python - 如何使用 NLTK 分词器去除标点符号？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15547409/