python - 如何通过 Doc2Vec 找到文档中最关键的句子或单词？

Question

我已经训练了一个 Doc2Vec 模型来完成一个简单的二元分类任务，但我也很想看看哪些单词或句子在对给定文本的含义的贡献方面更重要。到目前为止，我还没有找到任何相关或有帮助的东西。有什么想法可以实现这个功能吗？我应该从 Doc2Vec 切换到更传统的方法，如 tf-idf 吗？

Answer 1

您问的是模型的可解释性。我看到的一些探索方式:

• 根据您的分类器，模型的参数可能会告诉您它在看什么。例如，在基于注意力的模型中，模型关注的是讲述。

• 像 Lime 这样的工具和 Anchor对任何黑盒模型都有用，在这种情况下可能会起作用。两者的文档都展示了如何将其用于文本数据。