tensorflow - 将字数向量逆变换为原始文档

Question

我正在训练一个简单的文本分类模型(目前使用 scikit-learn)。要使用我使用的词汇表将我的文档样本转换为字数向量

CountVectorizer(vocabulary=myDictionaryWords).fit_transform(myDocumentsAsArrays)

来自sklearn.feature_extraction.text。

这非常有效，我随后可以将此字数向量作为特征向量来训练我的分类器。但我不知道如何将这些字数向量逆变换为原始文档。 CountVectorizer 确实有一个函数 inverse_transform(X) 但这只能返回唯一的非零标记。

据我所知，CountVectorizer 没有任何映射回原始文档的实现。

有人知道如何从计数向量化表示中恢复 token 的原始序列吗？是否有 Tensorflow 或任何其他模块可以实现此目的？

Answer 1

CountVectorizer 是“有损”的，即对于文档: 这是惊人程序中的惊人字符串，它只会存储文档中的单词计数(即字符串 -> 1，惊人 -> 2 等)，但会丢失位置信息。 因此，通过反转它，您可以创建一个文档，其中相同的单词重复相同的次数，但它们在文档中的顺序无法追溯。