amazon-web-services - ADF(AzureDataFactory) DataFlow 的替代方案

标签 amazon-web-services azure google-cloud-platform cloud

什么可以替代 ADF Dataflow。

数据流是 Azure 数据工厂 (ADF) 的一项新功能,允许用户开发图形数据转换逻辑,这些逻辑可以作为 ADF 管道中的事件执行。

AWS或GCP中有类似的工具吗?

最佳答案

GCP 和 AWS 中都有与 Azure 数据工厂类似的工具,它们提供了一种无需任何编码即可大规模转换数据的方法。您可以通过构建一系列转换来在设计器中设计数据转换作业。

Google 云平台:

  • 谷歌云 Data Fusion - 云原生数据集成服务,帮助构建和管理 ETL/ELT 数据管道。具有图形界面和广泛的预配置连接器和转换开源库等。

亚马逊网络服务:

  • AWS Data Pipeline - 专注于数据传输。支持使用 SQL 命令预加载转换。您可以通过控制台、使用 AWS 命令​​行界面 (CLI) 和 JSON 格式的管道定义文件以图形方式创建管道,也可以通过 API 调用以编程方式创建管道。

关于amazon-web-services - ADF(AzureDataFactory) DataFlow 的替代方案,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62883155/

相关文章:

amazon-web-services - AWS Rekognition - 根据集合搜索图像中的所有面孔

azure - 使用 RESTORE FILELISTONLY 时从 SSMS 失败的 Azure Blob 存储恢复数据库

android - 用于上传和下载文档的 REST 服务器

ubuntu - 运行 Google Cloud SDK 时为 "sudo: gcloud: command not found"

hadoop - 在 Amazon Web Services 和 Local 上集成 Solr + Hadoop 和 Nutch + Hbase

linux - Amazon s3 存储桶和物理服务器之间的双向同步

python - 是我的问题还是这个 AWS Lambda 开发人员指南毫无意义?

azure - 数据流中的动态文件路径

firebase - Firebase 服务器位置在哪里?

python-3.x - BigQuery - 从按日期分区的表中删除行