machine-learning - 偏差在神经网络中的作用是什么？

Question

我知道梯度下降和反向传播算法。我不明白的是:什么时候使用偏差很重要以及如何使用它？

例如，映射 AND 时函数，当我使用两个输入和一个输出时，它没有给出正确的权重。但是，当我使用三个输入(其中之一是偏差)时，它会给出正确的权重。

Answer 1

我认为偏见几乎总是有帮助的。实际上，偏置值允许您将激活函数向左或向右移动，这对于成功学习可能至关重要。

看一个简单的例子可能会有所帮助。考虑这个没有偏差的 1 输入、1 输出网络:

网络的输出是通过将输入 (x) 乘以权重 (w₀) 并将结果传递给某种激活函数(例如 sigmoid 函数)来计算的。

这是该网络针对不同的 w₀ 值计算的函数:

改变权重 w₀ 本质上改变了 sigmoid 的“陡度”。这很有用，但是如果您希望网络在 x 为 2 时输出 0 该怎么办？仅改变 sigmoid 的陡度并不会真正起作用 - 您希望能够将整个曲线向右移动。

这正是偏见允许你做的事情。如果我们向该网络添加偏差，如下所示:

...那么网络的输出就变成了 sig(w₀*x + w₁*1.0)。以下是 w₁ 的各种值的网络输出:

w₁ 的权重为 -5 会使曲线向右移动，这使我们能够拥有一个当 x 为 2 时输出 0 的网络。