最佳答案
你的问题有点含糊,当你说:
What is the best way to check if the page title is relevant to the content on the page.
在您的问题背景下如何定义相关性?
我不知道这是否是您想要的,但我想到了几件事,本质上是比较两个文档的相似程度,一个文档是标题,另一个文档是描述。
您可以考虑为两者生成向量表示的方法,并比较它们的相似程度。
- Jaccard 相似度使用标记作为两个集合(即文档)的元素
- TF-IDF 加权向量并与余弦相似度进行比较
- 计算每个文档的分布主题模型/LDA,并使用 Kullback-Leibler 散度进行比较
- 将文档编码为某种密集向量(doc2vec,或通过 LSTM 读取它们并保留最后的状态),然后比较两个向量。
唯一的考虑因素是标题的大小与网页内容相比非常小。
关于machine-learning - 文本内容相关性检查,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53128308/