tensorflow - keras 中损失函数的输出形状应该是什么？

Question

例如，如果我正在做图像预测，我的网络的输出是形状张量 [299, 299, 3]我如何编写损失函数 loss(y_true, y_pred) .我应该期待 y_true和 y_pred有形状[batch_size, 299, 299, 3]并且损失函数的输出是形状 [batch_size] 的数组或者是其他东西？

Answer 1

编辑:我的第一个答案是认为您的输入是 (299,299,3)，而不是您的输出。我很抱歉! “图像预测”相当模糊，但如果您的意图真的是输出 3D 张量作为您的 y_pred ，您可能仍然希望创建一个生成标量的损失函数。这是因为一个样本的损失需要与所有其他样本的误差合并。联合损失允许模型概括其行为。见 this wiki snippet .本质上，多维损失函数相当于在随机梯度下降中将批量大小设置为 1。

第一个答案:
通常你希望你的损失函数输出一个数字。如果你在做图像分类，你几乎肯定希望你的损失函数输出一个数字。

假设“图像预测”意味着“图像分类”，您的输入可能是您的图像和您的 y_pred通常是一批长度等于可能类别数的一维数组。

您的 y_true将是一批与 y_pred 大小相同的 one_hot 编码数组.这意味着它们是长度等于您的图像可以具有的类数的数组。不同的是y_true向量包含除相应图像类别索引处的单个 1 之外的所有零。

例如，如果您的图像仅是狗、猫或羊，则有 3 种可能的类别。随便说一个0代表狗，1代表猫，2代表羊。然后，如果图像是羊，则对应的 y_true将是 [0,0,1]。如果图像是猫，y_true将是 [0,1,0]。如果你的图像是一只熊，你的分类器会感到困惑......

至于损失函数，通常你会以某种方式计算出每个 y_pred 的距离有多远。来自相应的y_true并总结批次中的所有差异。这会产生一个代表批次总损失的数字。

Keras 设置得很好，可以为您处理损失函数。当您有模型时，请调用 model.compile(loss='some_loss_fxn_here', optimizer='some_optimizer_here')并指定要用作字符串的损失函数。您可能想要使用 'categorical_crossentropy' .

鉴于您提出问题的方式，您可能需要在担心所有这些之前创建一个模型。

你可以尝试这样的事情:

from keras.models import Sequential, Model
from keras.layers import Conv2D, MaxPooling2D, Dense, Flatten, Dropout
from keras.layers.normalization import BatchNormalization

def conv_block(x, depth, filt_shape=(3,3), padding='same', act='relu'):
    x = Conv2D(depth, filt_shape, padding=padding, activation=act)(x)
    x = BatchNormalization()(x)
    pool_filt, pool_stride = (2,2), (2,2)
    return MaxPooling2D(pool_filt, strides=pool_stride, padding='same')(x)

# Don't forget to preprocess your images!
inputs = Input(shape(299,299,3))
layer1 = conv_block(inputs, 64) # shape = [batch_size,150,150,64]
layer1 = Dropout(.05)(layer1) # Note early dropout should be low
layer2 = conv_block(layer1, 64) # shape = [batch_size,75,75,64]
layer2 = Dropout(.1)(layer2)
layer3 = conv_block(layer2, 64) # shape = [batch_size,38,38,64]
layer3 = Dropout(.2)(layer3)
layer4 = conv_block(layer3, 64) # shape = [batch_size,19,19,64]
layer4 = Dropout(.25)(layer4)
layer5 = conv_block(layer4, 64) # shape = [batch_size,10,10,30]

flat_layer = Flatten()(layer5) # shape = [batch_size, 3000]
flat_layer = Dropout(.4)(flat_layer)

def dense_block(x, output_dim, act='relu'):
    x = Dense(output_dim, activation=act)(x)
    return BatchNormalization()(x)

layer6 = dense_block(flat_layer, 300)
layer7 = dense_block(layer6, 50)

n_labels = 10 # change this number depending on the number of image classes
outputs = dense_block(layer7, n_labels, 'softmax')

model = Model(inputs=inputs, outputs=outputs)
model.compile(loss='categorical_crossentropy', optimizer='adam')

# Be sure to make your own images and y_trues arrays!
model.fit(x=images,y=y_trues,batch_size=124)

如果这些都没有帮助，请查看教程或尝试 fast.ai类(class)。 fast.ai 类(class)可能是世界上最好的类(class)，所以我会说从那里开始。