tensorflow - Tensorflow 中的高斯对数似然损失函数

Question

我需要在 Tensorflow 中实现高斯对数似然损失函数，但是我不确定我写的是否正确。我认为this是损失函数的正确定义。

我像这样实现它:

    two_pi = 2*np.pi

    def gaussian_density_function(x, mean, stddev):

        stddev2 = tf.pow(stddev, 2)
        z = tf.multiply(two_pi, stddev2)
        z = tf.pow(z, 0.5)

        arg = -0.5*(x-mean)
        arg = tf.pow(arg, 2)
        arg = tf.div(arg, stddev2)

        return tf.divide(tf.exp(arg), z)


    mean_x, var_x = tf.nn.moments(dae_output_tensor, [0])
    stddev_x = tf.sqrt(var_x)

    loss_op_AE = -gaussian_density_function(inputs, mean_x, stddev_x)
    loss_op_AE = tf.reduce_mean(loss_op_AE)

我想使用它作为自动编码器的损失函数，但是，我不确定这个实现是否正确，因为我从 loss_op_AE 中得到 NaN。

编辑:我也尝试使用:

    mean_x, var_x = tf.nn.moments(autoencoder_output, axes=[1,2])
    stddev_x = tf.sqrt(var_x)

    dist = tf.contrib.distributions.Normal(mean_x, stddev_x)
    loss_op_AE = -dist.pdf(inputs)

我得到了相同的 NaN 值。

Answer 1

将 stddev 建模为 log stddev，这应该可以解决 nan 问题。因此，不要假装 stddev 是 sigma^2，而是假装它是 sigma^2 的自然对数。