machine-learning - 具有 NRLU 隐藏单元的高斯 RBM(在德类)？

Question

我正在研究用于图像分类的 RBM(用于 DBN)。我使用两个 RBM 层。第一个具有高斯可见单元和二进制隐藏单元，第二个具有二进制可见单元和 softmax 隐藏单元。它运作得很好。我现在想尝试使用噪声校正线性单元作为隐藏层，但我无法理解如何实现它们。我所尝试的一切都导致了可怕的结果。

现在，如果我理解正确的话:ReLU 的激活概率就是 p = max(0, x + N(0, 1))，但是如何对值进行采样以激活可见单元？噪声是否应该仅用于采样而不用于激活概率？

另一件事:在一些论文中我看到噪声是 N(0,1)，而其他一些论文则使用 N(0,sigmoid(x))。

那么，激活函数应该是什么以及如何对值进行采样？

Answer 1

显然:

使用 max(0, x) 作为激活概率函数并使用 max(0, x + N(0, Sigmoid(x)) 进行采样似乎可行对于 RBM。