我一直在关注 Andrew NG 关于神经网络的视频。在这些视频中,他并没有将偏见与每个神经元联系起来。相反,他在计算激活值后在每一层的头部添加一个偏置单元,并使用该偏置和计算来计算下一层的激活值(前向传播)。
但是,在其他一些有关机器学习的博客和视频中,例如 this ,每个神经元都存在一个偏差。这种差异是什么、为什么以及它的含义是什么?
最佳答案
两种方法都代表相同的偏差概念。对于每个单元(不包括输入节点),您计算前一层(在前馈网络的情况下)向量的权重和激活的点积加上标量偏差值的激活函数值:
(w * a) + b
在 Andrew Ng 中,这个值是使用矢量化技巧计算的,其中您将激活与指定的偏差常量(通常为 1)连接起来,这样就可以完成工作(因为这个常量)不同的节点有自己的权重 - 因此这与每个节点有另一个偏差值完全相同)。
关于machine-learning - 每个神经元的神经网络偏差,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37193305/