我正在使用数据集 API list_files
来获取 source
目录和 target
目录中的文件列表,例如:
source_path = '/tmp/data/source/*.ext1'
target_path = '/tmp/data/target/*.ext2'
source_dataset = tf.data.Dataset.list_files(source_path)
target_dataset = tf.data.Dataset.list_files(data_path)
dataset = tf.data.Dataset.zip((source_dataset, target_dataset))
源目录和目标目录内容具有相同的顺序文件名,但扩展名不同(例如,源 0001.ext1 <-> 目标 0001.ext2)。
但由于 list_files 无论如何都没有排序,压缩数据集包含源和目标之间的不匹配。
如何在新的数据集 API 中解决这个问题?
最佳答案
此方法的默认行为是以不确定的随机打乱顺序返回文件名。传递种子或 shuffle=False 以获得确定顺序的结果。
source_dataset = tf.data.Dataset.list_files(source_path, shuffle=False)
或
val = 5
source_dataset = tf.data.Dataset.list_files(source_path, seed = val)
target_dataset = tf.data.Dataset.list_files(data_path, seed = val)
关于Tensorflow Dataset API 如何排序 list_files?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46990088/