keras - 何时在 Keras 模型中使用偏差？

Question

我是 Keras 建模新手。我正在尝试评估用于建立模型的适当参数。我如何知道何时使用偏置以及何时将其关闭？

Answer 1

简短的答案是，当模型很小时，始终使用偏差变量。否则，仍然建议在所有神经网络架构中继续使用偏差。

因为每个神经元的表现就像一个简单的逻辑回归。在每个神经元中，输入值乘以权重，偏差会影响 sigmoid 函数的初始水平，从而产生所需的非线性。

例如，如果您的训练数据中有零输入，例如 X = [[0,0,...], [0,0,...],... ] ， Y = 1，在 sigmoid 函数中，由于 X*W 为零，因此输出始终精确为 Y=0.5。然而，在大型网络中，每个节点都可以根据其所有输入的平均激活来创建偏置节点。