google-cloud-platform - kedro 支持 tfrecord 吗?

标签 google-cloud-platform tfrecord gcp-ai-platform-training kedro tf.data.dataset

为了使用 Docker 容器在 AI Platform 上训练 TensorFlow keras 模型,我们使用 tf.data.Dataset 将存储在 GCS 上的原始图像转换为 tfrecord 数据集。因此,数据永远不会存储在本地。相反,原始图像会直接转换为 tfrecords 到另一个存储桶。是否可以使用 kedro具有 tfrecord 数据集和 tf.data.Dataset 的流功能?根据docs kedro 似乎不支持 tfrecord 数据集。

最佳答案

目前我们拥有的唯一与 TF 相关的数据集是 TensorFlowModelDataset ( https://kedro.readthedocs.io/en/latest/_modules/kedro/extras/datasets/tensorflow/tensorflow_model_dataset.html ),但您可以轻松 add your own custom dataset ,或者请在 the repo 中添加功能请求/您的贡献

关于google-cloud-platform - kedro 支持 tfrecord 吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63182406/

相关文章:

java - GCP Dataflow - 如何使用 Dataflow 从 Google BigQuery 读取数据并加载到 Google Spanner 中

google-app-engine - 使用 Cloud Build 和 VPC 连接器将 Node 应用程序自动部署到 App Engine

python - 从 SparseTensorValue 访问值

python - 无法在 Google AI 平台 (CMLE) 上安装 pycocotools

python - 如何将我的任务分发到 gcp 中的所有工作节点?我正在使用 pyspark

python - 谷歌机器学习引擎: Prediction failed: Error during model execution

python - 在 tfrecord 中将灰度转换为 RGB

python - 属性错误: 'Tensor' object has no attribute 'numpy' in Tensorflow 2. 1

google-cloud-platform - 无法在 GCP 上创建 GPU 实例

python - 为什么使用 Google AI-Platform 进行本地训练无法在虚拟环境中进行?