我正在编写一些基本的神经网络方法 - 特别是激活函数 - 并且已经达到了我垃圾数学知识的极限。我理解各自的范围(-1/1)(0/1)等,但不同的描述和实现让我感到困惑。
具体来说,sigmoid、logistic、双极 sigmoid、tanh 等
sigmoid 是否简单地描述了函数的形状而不考虑范围?如果是这样,那么 tanh 是一个“sigmoid 函数”吗?
我在一篇论文中看到了“双极 sigmoid”与“tanh”的比较,但是我已经看到这两个函数使用相同的代码实现(在不同的库中):
(( 2/(1 + Exp(-2 * n))) - 1)。它们是完全相同的东西吗?
同样,我也见过使用相同代码实现的 logistic 和 sigmoid 激活:
( 1/(1 + Exp(-1 * n)))。这些也等价吗?
最后,它在实践中有那么重要吗?我在维基上看到 plot of very similar sigmoid functions - 可以使用其中任何一个吗?有些看起来可能比其他的计算速度要快得多。
最佳答案
逻辑函数:ex/(ex + ec)
逻辑函数的特殊(“标准”)情况:1/(1 + e-x)
双极乙状结肠:从未听说过。
Tanh:(ex-e-x)/(ex + e-x)
Sigmoid 通常指的是形状(和极限),所以是的,tanh 是一个 sigmoid 函数。但在某些情况下,它特指标准物流功能,因此您必须小心。是的,您可以使用任何 sigmoid 函数并且可能效果很好。
(( 2/(1 + Exp(-2 * x))) - 1) 相当于 tanh(x)。
关于function - 神经激活函数 - Logistic/Tanh/等之间的差异,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11847133/