python - theano中的反卷积自动编码器

Question

我是 theano 的新手，正在尝试使用示例 convolutional network和 denoising autoencoder制作去噪卷积网络。我目前正在努力研究如何制作 W'，即反向权重。 In this paper他们对 W' 使用在两个维度上翻转的绑定(bind)权重。

我目前正在处理一维信号，因此我的图像形状是 (batch_size, 1, 1, 1000)，filter/W 大小是 (num_kernels, 1, 1, 10)。卷积的输出是 (batch_size, num_kernels, 1, 991)。 因为我希望 W' 只是二维翻转(在我的例子中是 1d)，所以我很想这样做

w_value = numpy_rng.uniform(low=-W_bound, high=W_bound, size=filter_shape)
self.W = theano.shared(np.asarray((w_value), dtype=theano.config.floatX), borrow=True)
self.W_prime = T.repeat(self.W[:, :, :, ::-1], num_kernels, axis=1)

我在相关维度中反向翻转它并重复这些权重，以便它们与隐藏层的特征图具有相同的维度。

使用此设置，我是否只需要为 W 更新梯度，还是 W_prime 也应该成为梯度计算的一部分？

当我这样做时，MSE 在第一个小批量后下降很多，然后停止变化。使用交叉熵在第一次迭代中给出 NaN。我不知道这是否与此问题有关，或者它是否是我的代码中存在的许多其他潜在错误之一。

Answer 1

我无法评论您的W_prime 方法的有效性，但我可以说您只需要计算每个原始共享变量的成本梯度。您的 W_prime 是 W 的符号函数，而不是共享变量本身，因此您不需要计算关于 W_prime 的梯度。

每当你得到 NaN 时，首先要尝试的是降低学习率的大小。