为了使用 Docker 容器在 AI Platform 上训练 TensorFlow keras 模型,我们使用 tf.data.Dataset
将存储在 GCS 上的原始图像转换为 tfrecord 数据集。因此,数据永远不会存储在本地。相反,原始图像会直接转换为 tfrecords 到另一个存储桶。是否可以使用 kedro具有 tfrecord 数据集和 tf.data.Dataset 的流功能?根据docs kedro 似乎不支持 tfrecord 数据集。
最佳答案
目前我们拥有的唯一与 TF 相关的数据集是 TensorFlowModelDataset
( https://kedro.readthedocs.io/en/latest/_modules/kedro/extras/datasets/tensorflow/tensorflow_model_dataset.html ),但您可以轻松 add your own custom dataset ,或者请在 the repo 中添加功能请求/您的贡献
关于google-cloud-platform - kedro 支持 tfrecord 吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63182406/