python - 如何使用可变长度字符串解码 TFRecord 数据样本？

Question

假设我们有一个包含如下数据样本的 TFRecord 文件:

def _bytes_feature(value):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def _float32_feature(value):
    return tf.train.Feature(float_list=tf.train.FloatList(value=value))

example = tf.train.Example(features=tf.train.Features(feature={
    'image/encoded': _bytes_feature(encoded_jpg),
    'label': _float_list_feature(label),
}))

这里的encoded_jpg是编码后的32x32 jpg图片的原始值，不同图片的长度可能会有很大差异； label 是一个固定长度的向量。

对于固定长度的字段，总是可以使用类似下面的内容来解码示例:

features = tf.parse_single_example(
    serialized_example,
    features = {
        'image/encoded': tf.FixedLenFeature([], tf.string)
        'label': tf.FixedLenFeature([], tf.float32)
    }

)

但是这里image/encoded的长度不是常量，上面那个就不行了。

如果我把代码改成这样:

features = tf.parse_single_example(
    serialized_example,
    features = {
        'image/encoded': tf.VarLenFeature(tf.string)
        'label': tf.FixedLenFeature([], tf.float32)
    }
)

encoded = features['image/encoded']

image/encoded 有点像稀疏张量，我不知道如何从这些东西中解码图像。

有没有人有过类似的经历？任何建议表示赞赏。

谢谢!

Answer 1

以下代码可能有用:

转换为 tfrecord:

ex = tf.train.SequenceExample()
ex.context.feature["length"].int64_list.value.append(label)
ex_tokens = ex.feature_lists.feature_list["image/encoded"]
for value in range(encoded_jpg):
    ex_tokens.feature.add().int64_list.value.append(value)

with tf.python_io.TFRecordWriter(os.path.join(DATA_PATH, filename) + ".tfrecord") as filew:
    filew.write(ex.SerializeToString())

读取 tfrecord

context_features = {
    "pose": tf.FixedLenFeature([], dtype=tf.float32)
}

sequence_features = {
    "image/encoded": tf.FixedLenSequenceFeature([], dtype=tf.int64),
}

tf_reader = tf.TFRecordReader()
tf_key, tf_serialized = tf_reader.read(tf_file_queue)
tf_context, tf_sequence = tf.parse_single_sequence_example(
    serialized = tf_serialized,
    context_features = context_features,
    sequence_features = sequence_features
)
encoded = tf_sequence['image/encoded']