tensorflow - tf.losses.mean_squared_error 目标为负

Question

我正在使用 Q 学习，我想知道如果我有一个可以给出负奖励的奖励函数，我是否可以使用 tf.losses.mean_squared_error 损失计算函数。

因为如果我有以下 Q 值作为我的网络的输出:(0.1, 0.2, 1)，并且我计算出我的真实 Q 值应该是 (0.1, -5, 1)，如果我使用mean_squared_error 函数第二个 Q 值的损失将为正，我错了吗？因为平方运算所以梯度下降不会基于正确的损失？

Answer 1

是的，效果很好。

您应该关注mse成本函数。

mse = tf.reduce_mean(tf.square((x*w+b)-y))

成本函数计算差值的平方。这意味着始终 -值变为+ .

而且，你是对的。
7-1和5+ -1成本与 36 相同。

为了更好地理解梯度下降，您需要知道如何最小化 mse 。 从下图中，您可以看到当前mse通过x*w+b .
此时，梯度下降得到一个斜率来决定w改变的方向。

斜率由导数计算得出。

对mse求导后可以看到下面的公式功能。

所以，你可以看到W的方向，如果((w*x-y)*x) > 0，W将向左移动。如果没有，将移至右侧。