我是计算机视觉领域的新手,因此如果问题有任何不当之处,我深表歉意。
我已经使用 PascalVOC 2012 数据集创建了一个分割模型,到目前为止我只能在 train 和 val 数据集上测试它。现在我想使用测试集测试我的模型,但是它不提供任何注释,所以我不确定我可以做什么来测量我的模型在测试数据上的性能。
我注意到其他数据集,例如COCO,没有提供测试数据的注释。
我很好奇那些发表了有关在这些数据集上训练的模型的论文的研究人员如何在这种情况下对测试数据进行测试,以及我可以做些什么来做到这一点。
预先感谢您的帮助!
最佳答案
许多主要数据集不发布测试集的主要原因是为了避免人们因过度拟合而报告不可靠的结果。
对于模型选择和“非正式”评估,您应该将训练集分为训练集和验证集,并对后者进行评估,而仅对第一个进行训练。
那么研究人员如何在论文中报告测试集的结果?
一旦您有了想要评估的明确模型,您就可以将结果上传到评估服务器;通过这种方式,您可以对自己进行基准测试。最先进的技术,无需显式访问测试集。
示例:
- 对于 COCO dataset您可以找到指南here关于如何上传结果(针对每个任务)。
- 对于 CityScapes dataset您可以通过this提交您的结果页。
顺便说一句:VOC2012 已经很老了,所以如果您确实需要的话,也许您还可以找到测试集。看看this mirror例如,约瑟夫·雷德蒙 (Joseph Redmon) 的作品。
关于machine-learning - 在没有提供注释的情况下,如何在 PascalVOC 2012 或 COCO 测试集上测试模型?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59042121/