python - Tensorflow 对象检测 API : how to create tfrecords with images not containing any labels (hard negatives)?

Question

你好。

我目前在自己的数据集上使用 tensorflow 对象检测 API(带有 Faster Rcnn)，对于我的一些标签，我已经确定了很可能被检测为误报的对象，并且我知道该 API 使用hard examples mining，所以我想做的是将包含这些 hard objects 的图像引入训练中，以便 miner 可以将它们作为 hard negatives。

在这个对话之后 知乎 https://github.com/tensorflow/models/issues/2544有人告诉我这是可能的

You can have purely negative images and faster_rcnn models will sample from anchors from them.

所以我的问题是:如何使用一些没有任何边界框的图像创建 tfrecords？我应该在关联的 .xml 文件中放入什么？

Answer 1

在您的 tfrecords 生成脚本中，确保您将硬底片图像的元数据添加到 tf 记录中，就像这样 -

tf_example = tf.train.Example(features=tf.train.Features(feature={
            'image/height': dataset_util.int64_feature(height),
            'image/width': dataset_util.int64_feature(width),
            'image/filename': dataset_util.bytes_feature(filename),
            'image/source_id': dataset_util.bytes_feature(filename),
            'image/encoded': dataset_util.bytes_feature(encoded_jpg),
            'image/format': dataset_util.bytes_feature(image_format)
            }))

对于带有对象的图像，您还必须添加边界框和标签信息 -

tf_example = tf.train.Example(features=tf.train.Features(feature={
            'image/height': dataset_util.int64_feature(height),
            'image/width': dataset_util.int64_feature(width),
            'image/filename': dataset_util.bytes_feature(filename),
            'image/source_id': dataset_util.bytes_feature(filename),
            'image/encoded': dataset_util.bytes_feature(encoded_jpg),
            'image/format': dataset_util.bytes_feature(image_format),
            'image/object/bbox/xmin': dataset_util.float_list_feature(xmins),
            'image/object/bbox/xmax': dataset_util.float_list_feature(xmaxs),
            'image/object/bbox/ymin': dataset_util.float_list_feature(ymins),
            'image/object/bbox/ymax': dataset_util.float_list_feature(ymaxs),
            'image/object/class/text': dataset_util.bytes_list_feature(classes_text),
            'image/object/class/label': dataset_util.int64_list_feature(classes),
        }))

还要确保在 pipeline.config 文件中将 min_negatives_per_image 设置为正数，否则它不会使用负图像进行训练