google-cloud-platform - 在 GC Composer DAG 中使用 Cloud Functions 作为运算符

Question

各位程序员，

对于我有兴趣使用的项目 Google Cloud Composer处理多个工作流，这些工作流由可以在工作流之间共享的操作组成。

在我看来，Cloud Functions 是在 Composer 中执行这些操作的完美方式 DAG .

就我的理解而言，我需要一个运算符来使用特定 DAG 中任务的特定数据调用云函数。

我在 Airflow documentation 中找到了 Google Cloud Function 运算符，但是，这些只是用于部署和删除云功能，而不是调用它们。

关于 invoking DAGs from a cloud function 已经写了很多，但似乎没有关于在 DAG 中使用云函数作为操作的内容。

示例用例:
每次将文档放入某个桶中时，我都想启动 DAG 工作流来分析该文档。 这个 DAG 可以包含各种任务，例如提取文档的发送者、 Logo 的分类或搜索特定的词。对于这些单独的任务，我想创建单独的云函数，这些函数在 DAG 中缝合在一起以组成我的工作流。

问题:
如何从 Google Composer DAG 中调用云函数？
人们有这方面的经验或有可用的示例代码吗？

提前致谢。

Answer 1

HTTP Triggers可用于运行 Cloud Functions，因此您可以使用 HTTP operator 从 DAG 调用它们. DAG 运行调用 Cloud Function 触发器的任务，而不是运行函数。