cloud - 如何运行将数据加载到其他项目 BigQuery 表中的云 Composer 任务

标签 cloud airflow google-cloud-composer

我在项目 A 下创建了我的云 Composer 环境,我想将数据加载到其他项目 B BigQuery 表中。我知道任务的 GCSToBigQueryOperator 但它没有成功失败,我想知道如何实现这一点。 我想从项目 A 运行一个将数据加载到项目 B 表中的任务。

最佳答案

根据我的经验和对您情况的假设,我认为您需要确保您的服务帐户(bigquery_conn_idgoogle_cloud_storage_conn_id)在 中具有足够的权限这两个项目

关于cloud - 如何运行将数据加载到其他项目 BigQuery 表中的云 Composer 任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66173011/

相关文章:

python - Airflow Python 操作符返回类型

google-cloud-platform - 无法删除 Cloud Composer 环境

python - 在 Python 中为 GCP Dataflow 作业指定机器类型

amazon-web-services - Ubuntu:无法启用服务 cfn-hup

google-app-engine - gcloud 应该从哪里构建 docker 镜像

android - 如何获取 Android Amazon Web Services (AWS) SDK 与 AWS 模拟(例如 FakeS3)一起使用

node.js - NODE JS - 在建立安全 TLS 连接之前客户端网络套接字断开连接

docker - 将 apache airflow docker operator 与 rootless docker 一起使用

google-cloud-platform - 导入错误:Python Dataflow Job in cloud composer

kubernetes - Airflow Web 服务的 Istio 虚拟服务问题