json - 如何将 Azure Blob 中以 JSON 形式存储的数据加载到 Azure SQL 数据仓库?

标签 json csv azure azure-synapse azure-data-factory

我在 Azure Blob 中以 JSON 文件形式存储了一堆数据。我想将它们加载到 Azure SQL 数据仓库中,但 Azure SQL 数据仓库似乎不接受 JSON 输入文件。

最好的方法是什么?

我研究过的解决方案:

1) 将 Azure 数据工厂与自定义事件结合使用 (例如 https://github.com/Azure/azure-content/blob/master/articles/data-factory/data-factory-use-custom-activities.md ) 但为此旋转 HDInsight 集群似乎有点“开销”(而且我更喜欢使用 JavaScript 而不是 C# 解决方案)。

2) 编写 Azure api 应用程序(或自定义代码)将文件转换为 CSV,然后编写外部表脚本将其上传到 Azure SQL 数据仓库,然后删除 CSV 文件。我不确定是否需要保留此 CSV 文件以供以后使用。

还有更好的建议吗?

最佳答案

您可以使用 Azure 数据工厂将 json blob 数据转换为 csv,然后插入到 Azure SQL 数据仓库中。

您的管道将有一个复制事件,一个 json AzureBlob数据集一AzureSqlDWTable .

添加 a column mapping with translator rules 很重要到复制事件。

关于json - 如何将 Azure Blob 中以 JSON 形式存储的数据加载到 Azure SQL 数据仓库?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34185199/

相关文章:

azure - 根据 Azure Functions 2.x 和 VS 的环境自动加载设置文件

mysql - JacksonMapping Exception::HttpMessageNotWritableException:无法写入内容:(是 java.lang.NullPointerException)

读取 R 数据框中的矢量化 JSON 数据

javascript - 将 JSON 格式转换为数组以在数据中使用

amazon-web-services - 跳过 s3 中 csv 文件的页脚到 Athena

c# - OleDB 选择多个 CSV,第一行作为 C# 中的字段名称

python - 如何获取 pandas 中附加/合并 DataFrame 的行数?

azure - 在 UML 中重新创建 Azure 可扩展 Web 应用程序图

javascript - 通过AJAX(ASP.NET MVC)将json结果附加到div

c# - 我可以更改 Windows Azure 网站上的区域设置吗?