machine-learning - 使用 scikit-learn 进行文本分类 : how to get a new document's representation from a pickle model

Question

我有一个文档二项式分类器，它使用文档训练集的 tf-idf 表示形式并对其应用逻辑回归:

lr_tfidf = Pipeline([('vect', tfidf),('clf', LogisticRegression(random_state=0))])

lr_tfidf.fit(X_train, y_train)

我将模型保存在 pickle 中并用它来对新文档进行分类:

text_model = pickle.load(open('text_model.pkl', 'rb'))
results = text_model.predict_proba(new_document)

如何在不显式计算的情况下获得该新文档的模型所使用的表示(特征+频率)？

编辑:我试图更好地解释我想要得到的东西。 当我使用predict_proba时，我猜想新文档被表示为术语频率向量(根据存储的模型中使用的规则)，并且这些频率乘以逻辑回归模型学习的系数来预测类别。我对吗？如果是，我怎样才能获得这个新文档的术语和术语频率，如predict_proba所使用的？

我正在使用 sklearn v 0.19

Answer 1

据我从评论中了解到，您需要从管道内部访问 tfidfVectorizer。这可以通过以下方式轻松完成:

tfidfVect = text_model.named_steps['vect']

现在您可以使用 transform() method向量化器来获取 tfidf 值。

tfidf_vals = tfidfVect.transform(new_document)

tfidf_vals 将是一个单行稀疏矩阵，其中包含在 new_document 中找到的术语的 tfidf。要检查此矩阵中存在哪些项，您需要使用 tfidfVect.get_feature_names()。