python - 来自 tensorflow 的用于图像分割的 sigmoid_cross_entropy 损失函数

Question

我想了解 sigmoid_cross_entropy 损失函数在图像分割神经网络方面的作用:

这是相关的 Tensorflow 源 code :

zeros = array_ops.zeros_like(logits, dtype=logits.dtype)
cond = (logits >= zeros)
relu_logits = array_ops.where(cond, logits, zeros)
neg_abs_logits = array_ops.where(cond, -logits, logits)
return math_ops.add(
    relu_logits - logits * labels,
    math_ops.log1p(math_ops.exp(neg_abs_logits)), name=name)

我的主要问题是为什么返回时有一个math_ops.add()？ add 是指图像中每个像素的损失总和，还是总和在做一些不同的事情？我无法正确地遵循尺寸变化来推断求和在做什么。

Answer 1

sigmoid_cross_entropy_with_logits 用于多标签分类。

对于独立的类预测(例如 1 既是偶数又是素数)，整个问题可以分为二元交叉熵损失。最后收集所有预测损失并对其进行平均。

下面是一个例子:

import tensorflow as tf


logits = tf.constant([[0, 1],
                      [1, 1],
                      [2, -4]], dtype=tf.float32)
y_true = tf.constant([[1, 1],
                      [1, 0],
                      [1, 0]], dtype=tf.float32)
# tensorflow api
loss = tf.losses.sigmoid_cross_entropy(multi_class_labels=y_true,
                                       logits=logits)

# manul computing
probs = tf.nn.sigmoid(logits)
loss_t = tf.reduce_mean(y_true * (-tf.log(probs)) +
                        (1 - y_true) * (-tf.log(1 - probs)))

config = tf.ConfigProto()
config.gpu_options.allow_growth = True  # pylint: disable=no-member
with tf.Session(config=config) as sess:
    loss_ = loss.eval()
    loss_t_ = loss_t.eval()
    print('sigmoid_cross_entropy: {: .3f}\nmanual computing: {: .3f}'.format(
        loss_, loss_t_))
------------------------------------------------------------------------------
#output: 
    sigmoid_cross_entropy:  0.463
    manual computing:  0.463