我在 Azure Blob 存储中有一堆文件，并且不断增加新文件。我想知道是否有一种方法可以让我首先获取 Blob 中的所有数据并将其移至 BigQuery，然后保持脚本或某些作业运行，以便其中的所有新数据都发送至 BigQuery？
最佳答案
BigQuery 提供对 querying data directly from these external data sources 的支持:Google Cloud Bigtable、Google Cloud Storage、Google Drive。不包括 Azure Blob 存储。正如 Adam Lydick 提到的，作为一种解决方法，您可以将数据/文件从 Azure Blob 存储复制到 Google Cloud Storage(或其他支持 BigQuery 的外部数据源)。
要将数据从 Azure Blob 存储复制到 Google Cloud Storage，您可以运行 WebJobs (或 Azure Functions )和 BlobTriggerred WebJob可以在创建或更新 blob 时触发函数，在 WebJob 函数中，您可以访问 blob 内容并将其写入/上传到 Google Cloud Storage。
注意:我们可以安装这个库:Google.Cloud.Storage在客户端代码中进行常见操作。和this blog解释了如何在 Azure Functions 中使用 Google.Cloud.Storage sdk。
关于azure - 有没有办法将数据从 Azure Blob 持续传输到 BigQuery？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44806345/