google-cloud-functions - 如何从 GCP 中的 Cloud Functions 调用用 Python(3.x) 编写的 Dataflow 作业

标签 google-cloud-functions google-cloud-dataflow

我的目标是创建一种机制,当新文件上传到云存储时,它将触发云功能。最终,此云函数将触发云数据流作业。 我有一个限制,云数据流作业应该用Python编写,云函数也应该用Python编写。 我现在面临的问题是,我无法从云函数调用云数据流作业。

最佳答案

是的,你可以!从packaging your Dataflow Job in a template开始。需要执行一些更新来读取输入值。这仅更改作业 header /配置,而不更改“真实”处理

然后,trigger your template with API Rest 。没有Python库可以解决这个问题,但有一个答案here with code example

关于google-cloud-functions - 如何从 GCP 中的 Cloud Functions 调用用 Python(3.x) 编写的 Dataflow 作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57721124/

相关文章:

google-cloud-dataflow - 数据流作业的初始状态

java - 是否可以使用 KafkaIO.read 为单个管道的两个不同集群指定 Kafka 引导服务器?

python - Google Cloud Dataflow Python,检索作业 ID

python - xml.etree.ElementTree 模块是否有等效项?

ios - Firebase 事件监听器从未触发(iOS 应用程序)

firebase - 如何使用firebase云函数pubsub.schedule?

java - 将 TupleTag 传递给 DoFn 方法

apache-kafka - 卡夫卡 : exactly once semantics configuration using Apache Beam

javascript - Firebase 部署 - 计算数据库中的项目并分配它

javascript - 如何修复 Node 中的 'parsing error: Unexpected token =>'?