测试我的指代解析工具

Question

我正在构建一个回指解析工具。我已经做了很多文献回顾，并且对于我应该做什么来构建一个基本工具我有一个很好的想法。但是，问题是，我如何测试它。我找不到任何可以对其进行测试的带注释的语料库。有人可以建议我如何测量我的工具的精度和召回率。

Answer 1

从这里开始: http://www.mitpressjournals.org/doi/pdf/10.1162/COLI_a_00152

4.1节
OntoNotes-开发
– 中提供的 OntoNotes v4.0 开发分区 CoNLL2011 共享任务 (Pradhan et al. 2011)。 OntoNotes-测试
– 中提供的 OntoNotes v4.0 测试分区 CoNLL-2011共享任务。
ACE2004-Culotta-测试 – 为 ACE 2004 语料库保留的分区 通过之前的几项研究进行测试(Culotta 等人，2007 年；Bengtson 和 Roth 2008; Haghighi 和 Klein 2009)。
ACE2004-nwire – ACE 2004 语料库的新闻专线子集，由 Poon 和 Domingos (2008) 以及 Haghighi 和 Klein (2009) 进行测试。
MUC6-测试 – 来自第六篇消息理解的测试语料库 session (MUC-6)评估。

您可以在此处找到 MUC 详细信息 http://www-nlpir.nist.gov/related_projects/muc/muc_data/muc_data_index.html

只需环顾引用文献中实验部分的开头即可。您一定会找到链接。如果您查看最常用的那些，就会找到您的数据集。