上下文:
根据 Muller 的《Introduction to Machine Learning with python》推荐的工作流程，人们会对流程开始时留下的测试集进行单一分数评估:
与可以使用多个(不同)模型的嵌套交叉验证相比，这具有获得具有超参数集的给定模型的优点。
对单个测试集的评估给出了具有高方差的估计量。
问题:
有没有什么方法可以比这个单一分数获得更好的泛化误差估计？ (即使这种方法需要更多的训练迭代)
最佳答案
工作流程很完美，但我认为您的模型需要一些改进。 您可以将数据集划分为训练/验证/测试集。然后，您可以使用交叉验证对训练数据进行训练，继续对验证集进行测试，直到获得良好的结果，然后作为最后一步使用测试数据。
关于machine-learning - 估计优化模型测试误差的正确方法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46797442/