machine-learning - 隐藏层多有什么问题?

标签 machine-learning neural-network

如果我们在神经网络中使用太多的隐藏层会有什么问题吗?谁能简单描述一下如果隐藏层太多会出现什么问题。

最佳答案

最重要的问题是所谓的“梯度消失现象”,很容易验证(无论是理论上还是实践上),不可能有效地训练多个隐藏层(假设传统的反向传播,没有深度学习/神经认知机/卷积网络),因为计算的梯度/导数越来越平滑。每增加一层,错误的“责任”就会消失。

过度拟合(正如@Floris错误地表述的那样)不是这里的主要问题,因为同样的问题会来自隐藏单元的数量(事实上它会发生与增加隐藏层数量相比,更常见的是增加一个隐藏层中的单元数量。

关于machine-learning - 隐藏层多有什么问题?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23460661/

相关文章:

machine-learning - Azure 机器学习管道的最佳实践

machine-learning - PyTorch 或 TensorFlow 中可以使用位置相关的卷积滤波器吗?

deep-learning - 神经网络中密集层之后的激活函数有多必要?

python-2.7 - feature_importances_ 在 ExtraTreesClassifier :TypeError: 'NoneType' object is not iterable 中显示为 NoneType

machine-learning - 如何利用赫布学习?

java - Weka java spreadsubsample 过滤器

python - PCA 仅保留较大的成对距离是什么意思?

artificial-intelligence - 神经网络可以学习多路复用器模式吗?

python - 如何在 TensorFlow 中从 MNIST 中排除某个类?

error-handling - 如何计算归一化均方误差 (NMSE) 以及为什么要使用它?