machine-learning - 卷积神经网络会受到梯度消失的影响吗？

Question

我想我在某处读到，卷积神经网络不会像层数不断增加的标准 sigmoid 神经网络那样遭受梯度消失问题。但我一直无法找到“为什么”。

它真的没有遇到这个问题吗？还是我错了，它取决于激活函数？ [我一直在使用修正线性单元，所以我从未测试过卷积神经网络的 Sigmoid 单元]

Answer 1

卷积神经网络(如标准 sigmoid 神经网络)确实存在梯度消失问题。克服梯度消失问题最推荐的方法是:

• 分层预训练
• 激活函数的选择

您可能会看到，用于计算机视觉问题的最先进的深度神经网络(如 ImageNet 获胜者)已使用卷积层作为其网络的前几层，但这不是关键用于解决梯度消失问题。关键通常是逐层贪婪地训练网络。当然，使用卷积层还有其他几个重要的好处。特别是在输入尺寸较大(图像的像素)时的视觉问题中，建议在第一层使用卷积层，因为它们的参数比全连接层少，并且最终不会有数十亿个参数第一层(这将使您的网络容易过度拟合)。

然而，对于一些任务来说(如 this paper )，使用修正线性单元可以缓解梯度消失的问题(与传统的 sigmoid 函数相反)。