假设对于一个分类任务，我有算法 A 和算法 B，以及大小为 M 的标记数据集。算法 A 和算法 B 都是“确定性”机器学习方法，也就是说，算法不具有一些参数是随机种子，因此给定不同的随机种子，即使使用相同的数据集，训练的分类器也可能不同。
我的问题是，如果我想证明算法 A 在统计上比算法 B 更好(或更差)，我应该怎么做？
最佳答案
嗯，按照您描述问题的方式，检查统计差异的唯一方法是改变数据集。生成几个不同的数据集，并对它们运行算法 A 和 B，比较结果(不清楚您的质量指标是结果正确性还是所用时间，但它是双向的)。
关于machine-learning - 分类任务的显着性检验，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25927825/