azure - Google 的 BigQuery 与 Azure 数据湖 U-SQL

Question

我试图了解 Google Big query 和 Azure data Lake U-SQL 之间的区别或优缺点。哪个更好 ？我已经详尽地搜索了最大的区别是什么，但找不到它。

Answer 1

好吧，这是两种技术之间的一些根本区别。

数据形状

1. Google 大查询 - 他们要求您将数据转换为特定的数据 json、csv 或 Avro 等形状。
2. 数据湖 - 他们只是要求您转储湖存储中的所有内容，然后您可以在其上运行 usql 查询。

数据大小

Google 大查询对文件大小有限制 - https://cloud.google.com/bigquery/loading-data-into-bigquery#quota尽管它们是相当大的限制

Data Lake - 官方对文件大小没有限制，您实际上可以从 PB 文件开始。

最大的区别在于查询模型之间，但在此之前必须知道，您还可以在 Azure 数据湖存储之上运行 HBase 工作负载，并且 HBase 实际上是 google big table 的开源实现，还有许多其他细微的区别你可以在这里看到http://www.larsgeorge.com/2009/11/hbase-vs-bigtable-comparison.html .

Google 大查询本身并不是一个已编译的查询，而 USQL 是类似 SQL 的语法与 CLR 功能的组合，USQL 查询首先被编译，然后在数据存储上运行，这允许人们编写自定义函数与查询一起使用来解析或处理不同形式的数据。 人们甚至可以使用 Azure 数据湖工具可视化 USQL 查询的执行计划。 Big query 和 USQL 都非常容易理解和使用。

身份验证

1. Google 大查询具有标准 API 身份验证 https://cloud.google.com/bigquery/authentication
2. ADL - 应用程序和用户的身份验证由 Azure AD 控制。

作为一个大数据平台，两者都需要尊重，但我个人认为 Azure 数据湖是一个更好的实现，因为它允许灵活地与 Spark、storm、hive、pig 等开源项目一起工作，而大表限制了您的谷歌生态系统的能力。

请通过我的 Twitter 账号 @brijrajsingh 与我联系，如果您可以顺便来参加类加罗尔 GIDS，我将于 2016 年 4 月 29 日举办一场有关数据湖的 session