python-3.x - 如何使用 TF-IDF 向量选择前 1000 个单词？

Question

我有一个包含 5000 条评论的文档。我在该文件上应用了 tf-idf。这里样本数据 包含 5000 条评论。我正在使用 对 sample_data 应用 tf-idf 矢量化器一克范围 .现在我想获得前 1000 个单词
来自具有 的 sample_data最高 tf-idf 值 .谁能告诉我如何获得热门词？

from sklearn.feature_extraction.text import TfidfVectorizer
tf_idf_vect = TfidfVectorizer(ngram_range=(1,1))
tf_idf_vect.fit(sample_data)
final_tf_idf = tf_idf_vect.transform(sample_data)

Answer 1

TF-IDF 值取决于单个文档。您可以使用 max_features parameter of TfidfVectorizer 根据计数 (Tf) 获得前 1000 个术语:

max_features : int or None, default=None

If not None, build a vocabulary that only consider the top
max_features ordered by term frequency across the corpus.

做就是了:

tf_idf_vect = TfidfVectorizer(ngram_range=(1,1), max_features=1000)

您甚至可以获得 'idf' (全局术语权重)来自 tf_idf_vect使用 idf_ 拟合(学习)文档后属性:

idf_ : array, shape = [n_features], or None

  The learned idf vector (global term weights) when use_idf is set to True,  

调用 tf_idf_vect.fit(sample_data) 后执行此操作:

idf = tf_idf_vect.idf_

然后从中选择前 1000 个，并根据这些选定的特征重新拟合数据。
但是你不能通过“ tf-idf ”获得前 1000 名，因为 tf-idf 是 tf 的乘积idf 的单个文档中的术语(全局)词汇。因此，对于在单个文档中出现 2 次的同一个词，其 tf-idf 将是在另一个文档中只出现一次的同一个词的两倍。您如何比较同一术语的不同值。希望这可以说清楚。