tensorflow - Keras:自定义损失函数，训练数据与模型不直接相关

Question

我正在尝试将用 tensorflow 层编写的 CNN 转换为在 tensorflow 中使用 keras api(我使用的是 TF 1.x 提供的 keras api)，并且在编写自定义损失函数以训练模型时遇到问题。

根据本指南，在定义损失函数时，它需要参数 (y_true, y_pred) https://www.tensorflow.org/guide/keras/train_and_evaluate#custom_losses

def basic_loss_function(y_true, y_pred):
    return ...

然而，在我见过的每个例子中，y_true以某种方式与模型直接相关(在简单的情况下，它是网络的输出)。在我的问题中，情况并非如此。如果我的损失函数依赖于一些与模型张量无关的训练数据，如何实现这一点？

具体来说，这是我的问题:

我正在尝试学习在成对图像上训练的图像嵌入。我的训练数据包括图像对和图像对之间匹配点的注释(图像坐标)。输入特征只是图像对，网络以连体配置进行训练。

我能够用 tensorflow 层成功地实现这一点，并用 tensorflow 估计器成功地训练它。
我当前的实现从一个大型 tf 记录数据库构建了一个 tf 数据集，其中的特征是一个包含图像和匹配点数组的字典。在我可以轻松地将这些图像坐标数组提供给损失函数之前，但目前尚不清楚如何执行此操作。

Answer 1

我经常使用的一种技巧是通过 Lambda 来计算模型内的损失。层。 (例如，当损失与真实数据无关，并且模型实际上没有要比较的输出时)

在函数式 API 模型中:

def loss_calc(x):
    loss_input_1, loss_input_2 = x #arbirtray inputs, you choose
                                   #according to what you gave to the Lambda layer

    #here you use some external data that doesn't relate to the samples
    externalData = K.constant(external_numpy_data)


    #calculate the loss
    return the loss

使用模型本身的输出(损失中使用的张量)

loss = Lambda(loss_calc)([model_output_1, model_output_2])

创建输出损失而不是输出的模型:

model = Model(inputs, loss)

为编译创建一个虚拟的 keras 损失函数:

def dummy_loss(y_true, y_pred):
    return y_pred #where y_pred is the loss itself, the output of the model above

model.compile(loss = dummy_loss, ....)

使用任何关于训练样本数量正确大小的虚拟数组，它将被忽略:

model.fit(your_inputs, np.zeros((number_of_samples,)), ...)

另一种方法是使用自定义训练循环。

不过，这需要做更多的工作。

尽管您使用的是 TF1 ，您仍然可以转eager execution在您的代码的最开始，并像在 TF2 中所做的那样做. ( tf.enable_eager_execution() )

按照自定义训练循环教程:https://www.tensorflow.org/tutorials/customization/custom_training_walkthrough

在这里，您可以自己计算梯度，无论您想要什么结果。这意味着您无需遵循 Keras 培训标准。

最后，您可以使用您建议的方法 model.add_loss .
在这种情况下，您可以像我在第一个答案中所做的那样计算损失精确度。并将这个损失张量传递给 add_loss .

您可能可以使用 loss=None 编译模型然后(不确定)，因为您将使用其他损失，而不是标准损失。

在这种情况下，您的模型的输出可能是 None也是，你应该适合 y=None .