sql - 从 SQL Server Polybase 访问 Azure Data Lake Analytics 表

标签 sql azure azure-data-lake u-sql sql-data-warehouse

我需要将通过 Azure Data Lake Analytics (ADLA) 处理的多 TB 数据集导出到 SQL Server 数据库。

根据我迄今为止的研究,我知道我可以使用内置输出器将 (ADLA) 输出的结果写入 Data Lake 存储或 WASB,然后使用 Polybase 从 SQL Server 读取输出数据。

但是,将 ADLA 处理的结果创建为 ADLA 表对我们来说似乎非常有吸引力。它是一个干净的解决方案(无需管理文件)、多个读取器、内置分区、分发键以及允许其他进程访问表的潜力。

如果我们使用 ADLA 表,我可以通过 SQL Polybase 访问 ADLA 表吗?如果没有,是否有任何方法可以直接从 Polybase 访问 ADLA 表底层的文件?

我知道我可能可以使用 ADF 来完成此操作,但此时我想尽可能避免使用 ADF - 以最大限度地降低成本并保持流程简单。

最佳答案

不幸的是,Polybase 对 ADLA 表的支持仍在路线图上,尚未提供。请通过 SQL Data Warehouse User voice page 提交功能请求.

建议的解决方法是在 ADLA 中生成 Csv 信息,然后在 SQL DW 中创建分区和分布式表,并使用 Polybase 读取数据并填充 SQL DW 托管表。

关于sql - 从 SQL Server Polybase 访问 Azure Data Lake Analytics 表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49372998/

相关文章:

azure - 使用 Azure Web Apps Auth 获取登录用户

azure - 将哪个 IP 添加到 azure 防火墙以将文件从本地系统上传到 adls?

azure - 有没有办法从 C# 程序向 U-SQL 脚本传递参数?

sql - 检查 SQL 中字符串是否包含重音字符?

sql - 根据日期和月份的出现情况生成日期列表

sql - varchar 与使用 (encryption_type = 'DETERMINISTIC' 加密) 的 varchar(50) 不兼容

azure - 如何更改虚拟机的凭据

authentication - 使用 Windows Live 提供程序实现低代码、简单的 Azure 网站安全?

azure-data-lake - u-sql: filtering out empty//Null strings(微软学术图)

PHP 和 SQL : Can the same statement return different resultsets by the fact whether it where send by a php script or was send directly via a . SQL 文件?