azure - 如何访问Azure中的数据-从GCP拉取数据

Question

我在 Datapool 中收到每日数据，这些数据仅限于通过 SFTP、SCP 访问。我想处理来自 GCP 的数据。我尝试设置计算引擎来访问数据，但这不起作用! 通常，我必须通过 WinSCP 访问这些数据，并使用 PuTTY 来设置 Jupyter Notebook 并处理这些数据。
但在 GCP 中如何做到这一点呢？我想写一个脚本来处理日常数据。

谢谢

Answer 1

您可以通过以下步骤从 GCP BigQuery 访问 Azure 数据池中的数据:

1. create Linux VM实例(您可以尝试使用 free tire VM 来实现)
2. create Google 存储桶
3. mount您的存储桶到 VM 实例 Cloud Storage FUSE
4. 通过 scp 将数据从 Azure 数据池复制到 GCP VM 实例上已安装的存储桶
5. query来自 Google 存储桶的数据

要按计划进行，您可以创建一些简单的 bash 脚本，只需运行 scp 命令并使用 Cron来运行它。