我正在使用三个随机种子的 5 倍 CV 来训练深度学习模型(随机种子用于模型初始化，CV 被分割一次)。对于每次折叠，我都会保存最好的模型。因此，模拟后我得到了 15 个模型。为了评估性能，我选取了这 15 个模型中最好的一个(在整个评估过程中保持不变)，并使用每个种子的所有 5 倍的验证倍数对其进行评估。然后我对这些种子的结果进行平均。
我想知道我在这里做的事情是否正确。
我读到有两种计算 CV 性能的方法:[1] 池化，通过所有测试集的并集全局计算性能 [2] 平均，其中单独计算每个测试集的性能，结果是这些的平均值。
我打算使用方法二(平均)。
最佳答案
是的，您可以使用 5 倍 CV 的平均方法，但我不明白您所说的“对于每次折叠，我保存最佳模型”是什么意思。此外，三个随机种子值是不够的。您应该使用至少 10 个不同的值，并为这些种子的相应结果绘制箱线图。
关于machine-learning - 使用多个种子的 K 折交叉验证来评估模型的正确方法是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/59668221/