我正在研究二元分类。我创建了我的网络，如下所示: Conv1、Relu1、Pool1 - Conv2、Relu2、Pool2 - Conv3、Relu3、Pool3 - Conv4、Relu4 - Conv5 Relu5 Dropot 0.5、FC、Dropout 0.5 - SoftmaxlossLayer
所有转换层都是 3x3。
默认权重衰减为 0.0005。我得到了这个结果。 训练准确率:98% 测试准确率:88%
然后将相同的网络与 Weightdecay 0.005 一起使用
有人可以帮我分享一下为什么通过改变权重衰减值会出现这样的情况吗？
最佳答案
权重衰减会惩罚模型的复杂性，因此它用于控制模型的方差及其偏差。显然，如果你过多地惩罚复杂性，模型将不会学到任何有用的东西，因为它太简单了。
对于正则化神经网络的其他方法，您可以参见 notes for Hinton's Coursera course .
关于machine-learning - 重量衰减值增加显示最差性能，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46090743/