python - Python中precision、recall、f-score、AP、MAP的信息检索评价

Question

我写了一个程序来执行信息检索。
用户在搜索栏中输入查询，程序可以显示相关的文本结果，例如相关的句子和由该句子组成的文章。

我对如何评估结果做了一些研究。我可能需要计算 precision, recall, AP, MAP...

如何计算结果？

Since my dataset is not labeled and I did not do the classification. The dataset I used was the article from BBC news. there were 200 articles. I named it as 001.txt, 002.txt ... 200.txt

有没有人对如何在 python 中进行评估有任何想法。谢谢。

Answer 1

由于您是新手，我将简要介绍如何在信息检索系统中计算精度、召回率、fscore、AP 和 MAP。

准确率和召回率

“在我们检索到的所有相关文档中，有多少是真正相关的？”的精确度测量。

Precision = No. of relevant documents retrieved / No. of total documents retrieved

召回措施“在所有实际相关文档中，我们检索到多少是相关的？”。

Recall = No. of relevant documents retrieved / No. of total relevant documents

假设，当一个查询“q”被提交给一个信息检索系统(例如，搜索引擎)时，它有 100 个相关文档 w.r.t。查询“q”，系统从 600 份文档中检索出 68 份文档。在检索到的 68 份文件中，有 40 份文件是相关的。所以，在这种情况下:

Precision = 40/68 = 58.8% 和 Recall = 40/100 = 40%

F-Score/F-measure 是准确率和召回率的加权调和平均值。传统的 F-measure 或平衡 F-score 是:

F-Score = 2 * Precision * Recall / Precision + Recall

平均精度

您可以这样想:您在 Google 中输入内容，它会显示 10 个结果。如果所有这些都是相关的，那可能是最好的。如果只有一些是相关的，比如其中五个，那么最好首先显示相关的。如果前五名无关紧要而好的只从第六名开始，那就太糟糕了，不是吗？ AP 分数反射(reflect)了这一点。

举个例子:

AvgPrec of the two rankings:

排名#1:(1.0 + 0.67 + 0.75 + 0.8 + 0.83 + 0.6)/6 = 0.78

排名 #2:(0.5 + 0.4 + 0.5 + 0.57 + 0.56 + 0.6)/6 = 0.52

平均精度 (MAP)

MAP 是跨多个查询/排名的平均精度的平均值。举例说明。

Mean average precision for the two queries:

对于查询 1，AvgPrec: (1.0+0.67+0.5+0.44+0.5)/5 = 0.62

对于查询 2，AvgPrec: (0.5+0.4+0.43)/3 = 0.44

因此，MAP = (0.62 + 0.44)/2 = 0.53

有时，人们使用precision@k、recall@k 作为检索系统的性能度量。做实验，可以使用知名数据集AOL Search Query Logs构建一个基于检索的系统(你只需要另外一个检索功能)然后用它做实验。我举一个文档排名函数的例子。

文档排序/检索功能

Okapi BM25(BM 代表最佳匹配)是搜索引擎用来根据匹配文档与给定搜索查询的相关性对匹配文档进行排名的排名函数。它基于概率检索框架。 BM25 是 bag-of-words检索功能，它根据每个文档中出现的查询词对一组文档进行排名，而不管文档中查询词之间的相互关系(例如，它们的相对接近度)。查看Wikipedia页面了解更多详情。