python - 具有高级 API 的 tensorflow 中的 L2 正则化

Question

我知道关于使用来自 tensorflow 的层 API 的 l2 正则化存在一些类似的问题，但我仍然不太清楚。

所以首先我在我的 conv2d 层中重复设置 kernel_regularizer，如下所示:

regularizer = tf.contrib.layers.l2_regularizer(scale=0.1)
tf.layers.conv2d(kernel_regularizer=)

然后我可以通过以下方式收集所有正则化损失:

regularization_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)

最后但同样重要的是，我必须将正则化项纳入最终损失。但是，在这里我不太确定该怎么做，以下哪一项是正确的？

1) loss = loss + factor * tf.reduce_sum(regularization_losses)

2) loss = loss + tf.contrib.layers.apply_regularization(regularizer, weights_list=regularization_losses)

或者他们都错了？第二个选项似乎很奇怪，因为我必须再次将正则化器作为参数传递，即使每一层都已经有一个正则化器作为参数。

编辑

loss_1 = tf.losses.mean_squared_error(labels=y, predictions=logits, weights=1000)

regularization_loss = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)

loss = tf.add_n([loss_1] + regularization_loss, name='loss')

Answer 1

第一种方法是正确的。另一种方法是通过 tf.add_n 函数:

reg_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
loss = tf.add_n([base_loss] + reg_losses, name="loss")

第二种方法也有效，但您必须定义一个单个正则化器。所以它适用于您的情况，但如果您在不同的层中使用不同的正则化器，可能会带来不便。