machine-learning - 有哪些好的且广泛使用的评估指标来测试提取文本摘要方法的准确性?

标签 machine-learning classification metrics evaluation summarization

我正在使用分类技术进行多文档提取文本摘要。我计算了f-measure、召回率、精确度和准确度。对于我的目的来说,评估此方法生成的摘要的理想指标是什么?

最佳答案

ROUGE 计算各种指标的召回率、精度和 F 测量:ROUGE-N、ROUGE-L、ROUGE-W、ROUGE-S。 Here是 ROUGE 的论文。

ROUGE-N是匹配n-grams的数量除以 n 元语法总数。

ROUGE-L 查看两个文本的最长公共(public)子序列,子序列可以包含间隙,因此 1,3,51,2,3,4 的子序列, 5.

ROUGE-W 还使用最长公共(public)子序列作为分数,但为间隙较小的子序列赋予更高的权重。

ROUGE-S使用skip-bigrams,skip-bigrams是2-gram,可以包含任意2个单词,只要它们按句子顺序排列即可,即不必是连续的。

关于machine-learning - 有哪些好的且广泛使用的评估指标来测试提取文本摘要方法的准确性?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28152683/

相关文章:

java - 通过 REST API 访问机器学习模型

java - Hadoop Namenode 将 FSNamesystem 指标发送到具有损坏指标路径的 Graphite

machine-learning - mAP 指标是什么?它是如何计算的?

machine-learning - 使用强化学习解决分类问题

python - Doc2Vec 和分类——结果很差

google-analytics - 计算谷歌数据工作室的退出率

machine-learning - 如何调整最大熵的参数?

python - 简单线性回归在 tensorflow 中未能收敛

R h2o 连接(内存)问题

r - 构建函数以将自然中断 jenks 应用于我的 df 列时出错