matrix - 在神经网络中实现偏差的正确方法

Question

我可以制作一个神经网络，我只需要澄清偏差的实现。哪种方法更好:为每一层实现自己的偏置矩阵 B1, B2, .. Bn，将矩阵与权重矩阵分开，或，将偏置包含在通过将 1 添加到前一层输出(该层的输入)来得到权重矩阵。在图像中，我询问此实现是否:

或者这个实现:

是最好的。谢谢

Answer 1

我认为最好的方法是有两个单独的矩阵，一个用于权重，一个用于偏差。为什么？ :

• 我认为计算负载不会增加，因为 W*x 和 W*x + b 在 GPU 上运行应该是等效的。在数学和计算上它们是等效的。

• 更高的模块化程度。假设您想使用不同的初始化器(一、零、glorot...)来初始化权重和偏差。通过使用两个独立的矩阵，这很简单。

• 更易于阅读和维护。