tensorflow - 哪种 TFX 编排实际上是 TFX 的标准?

标签 tensorflow airflow kubeflow tfx

我是 tensorflow 的初学者,现在我在一个项目中需要为 tensorflow 部署分布式生产平台。如果我能得到一些帮助来澄清我的想法,我将不胜感激。

阅读online doument , 和 youtube , 我了解分布式生产的主要组件如下。

TFX(Tensorflow 扩展)使用 python 3.x 构建 管道:Apache Beam Orchestrator:Apache AirflowKubeflow

但是对于 orchestrator,我认为这两个组件各有利弊,但哪个组件是 TFX事实上的标准

该指南主要关注 Airflow 所以我认为这可能是一个但是 kubeflow 似乎是新的 所以它可能是新的挑战者。

Note: The current revision of this user guide primarily discusses deployment on a bare-metal system using Apache Airflow for orchestration.

谢谢, 于

最佳答案

我认为 Kubernetes/Kubeflow 是最好的编排器,但是,它会在设置和管理您自己的集群时带来大量前期成本。

Google 刚刚发布了 VertexAI 管道,这是一种托管(无服务器)服务,GCP 在其中为您管理 Kubernetes,您可以只专注于编写管道代码。

我强烈建议您使用它,因为它非常实惠且设置简单。 https://cloud.google.com/vertex-ai/docs/pipelines/introduction

在我的公司,我们通过使用 VertexAI 管道节省了数百万美元的运营和维护成本。

为了完成这个答案,有一些与 VertexAI 相关的缺点。这是一个 Pre-GA 产品,所以我仍然会遇到一些小问题,但我会说它 90% 的功能,我们正在使用它来协调我们的端到端机器学习工作流程以及自动化一些我们的分析和数据验证工作负载。

关于tensorflow - 哪种 TFX 编排实际上是 TFX 的标准?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58680765/

相关文章:

airflow - 如何解码 Airflow 表 dag_run 列 conf 值

python - Airflow 网络服务器已启动,但 UI 未显示在浏览器中

kubernetes - 如何从组件中获取运行的 id?

kubernetes - microk8s 损坏的 K8s 仪表板和 Kubeflow 仪表板

python - 替换 "tf.gather_nd"

tensorflow - softmax 回归中的权重是一维还是二维?

python - tf.concat 张量上的 tf.assign,删除张量的可变字符?

python-2.7 - 预训练检查点 (.chkpt) 与 GraphDef (.pb)

Airflow Ooops 页面

kubernetes - Kubeflow:图像拉->设备上没有剩余空间