向输出数据添加噪声是否用作正则化技术,以避免训练数据过度拟合?
它如何减少泛化误差并帮助正则化,因为据我所知,正则化与我们模型的复杂性直接相关。
它与训练模型的复杂性有何关系?
最佳答案
为什么它可以防止过度拟合?
噪音会破坏信息。您的数据变得更难拟合,因此更难过度拟合。极端情况是纯噪声,您的分类器将学会忽略输入并预测每个类别的固定概率。这与过度拟合相反:在验证集上,您将达到与训练期间完全相同的性能。
为什么这有助于泛化?
通过添加噪声,您可以使用附加信息来增强训练集。您告诉神经网络,您添加的噪声类型不应对其预测产生太大影响。如果这是真的,那么它将更好地泛化,因为它已经了解了输入空间的更大部分。如果它是假的,它实际上会使泛化变得更糟,例如,如果您正在从 10 位输入学习 XOR 函数。
输出噪声
(更新:哦,您具体询问的是向输出添加噪声。我不知道这是否常见,但我知道它有何帮助:)
如果以高置信度做出错误预测,典型的损失函数(例如交叉熵)将会给予非常大的惩罚。在过度拟合期间,网络会发现许多完美的预测变量(复杂的模型将开始记住每个训练输入)。权重将被调整以无限制地增加信心。在输出中添加噪声可以防止这种情况发生,因为它会告诉网络它永远无法做出高确定性的预测。这将减轻对验证集错误的高额处罚。它还将防止破坏性的权重更新,这种更新只会增加错误的信心。
关于machine-learning - 向输出添加噪声如何避免训练点的过度拟合?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59517929/