tensorflow 估计器 : average_loss vs loss

Question

在tf.estimator中，average_loss和loss有什么区别？我本可以从名称中猜测前者是后者除以记录数，但事实并非如此；如果有几千条记录，后者大约是前者的三四倍。

Answer 1

average_loss 和 loss 之间的区别在于，前者减少了批量损失的 SUM，而其他降低了相同损失的MEAN。因此，该比率正是 input_fn 的 batch_size 参数。如果您传递 batch_size=1，您应该会看到它们相等。

实际报告的张量取决于tf.Estimator的特定类型，但它们非常相似，here's the source code对于回归头(对应于tf.DNNRegressor):

training_loss = losses.compute_weighted_loss(unweighted_loss, weights=weights,
                                             reduction=losses.Reduction.SUM)

mean_loss = metrics_lib.mean(unweighted_loss, weights=weights)

如您所见，它们是根据相同的 unweighted_loss 和 weights 张量计算的。相同的值会报告给张量板摘要。