我正在尝试创建一个通过发布/订阅消息触发的 Cloud Composer DAG。 Google 提供了以下示例,每当 Cloud Storage 存储桶中发生更改时都会触发 DAG: https://cloud.google.com/composer/docs/how-to/using/triggering-with-gcf
但是,一开始他们说您可以触发 DAG 以响应事件,例如 Cloud Storage 存储桶中的更改或推送到 Cloud Pub/Sub 的消息
。我花了很多时间试图找出如何做到这一点,但没有结果。
你能帮忙或给我一些指示吗?谢谢!
最佳答案
有两种方法可以通过 Pub/Sub 事件触发 DAG。
- 您可以放置一个 PubSubPullSensor在你的 DAG 的开头。每次 PubSubPullSensor 可以拉取 Pub/Sub 消息时,您的 DAG 都会被触发。它将执行您的 DAG 中的其余任务。
- 您还可以创建一个 Cloud Function that acts as Pub/Sub trigger .并把 Composer DAG triggering logic在 Cloud Function 触发器中。当消息发布到 Pub/Sub 主题时,Cloud Function 应该能够触发 Composer DAG。
关于airflow - 使用 Pub/Sub 消息触发 Cloud Composer DAG,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58551125/