google-cloud-platform - 我们可以将值传递到正在运行的 GCP Cloud Composer Pipeline 吗？

Question

如果我使用 Cloud Composer 安排了 Dataproc 工作流模板，我可以通过 Cloud Composer 环境将值传递给工作流模板内存在的 dataproc 作业吗？ 如果是，请注明来源。 提前致谢!

Answer 1

如果您使用DataprocInstantiateWorkflowTemplateOperator运算符，然后您可以使用参数 argument这是“Dataproc 模板的参数映射”。

事实上，parameters 参数是模板化字段之一，这意味着它可以使用以下方式进行配置:

• DAG 通过 macros 运行配置(使用 {{ dag_run.conf }})
• Airflow variables (例如使用 {{ var.value.get('my.var', 'fallback') }})
• 环境变量 (os.environ.get)

如果您不需要不时更改这些参数，您也可以对此参数进行硬编码。