我们可以对神经网络的隐藏层和输出层使用不同的激活函数吗？ 使用这种方案有什么明显的优势吗？
最佳答案
对于网络的最后一层，激活单元还取决于任务。
- 分类:您只希望其中一个输出成为标签之一，但没有可微分的方法来精确实现这一点，因此您需要使用 softmax
- 回归:您需要使用 sigmoid 或 tanh 激活函数，因为您希望结果是线性的。通过使用 sigmoid 和 tanh，输出将在 0 和 1 之间缩放。因此很容易优化。
对于中间层，现在大多数人都使用Relu，因为它计算速度更快，并且不会在反向传播中过早消失。
关于machine-learning - 神经网络激活函数的选择，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/20368015/