hadoop - 从哪里获取大数据管道的示例数据和查询?

标签 hadoop hive apache-pig bigdata hue

我正在寻找一些真实世界的数据和查询,以便能够用于测试色调。数据需要使用不同的技术( pig 、 hive 等)专门创建管道。我可以找到单独的 pig 或 hive 脚本,但找不到涉及不同框架的真实世界管道示例。

我在大数据的数据方面还没有完全跟上速度,所以我很难创建任何真实世界的用例。此外,像 Spark 这样的例子是微不足道的,比如字数统计等。

我在哪里可以挖掘管道的一些数据,以及管道的相关步骤?这样我就可以根据需要专注于 Hue UI。

最佳答案

您可以查看 Hue 博客,其中有一些实际的处理示例 Bike Data with Spark, SQLStreaming .

关于hadoop - 从哪里获取大数据管道的示例数据和查询?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33027691/

相关文章:

hadoop - 数据分布如何在 HIVE 的分桶中发生?

apache-spark - 如何优化将 150GB 数据加载到配置单元表中?

hadoop - 如何读取 PIG UDF 中的静态文件

hadoop - 如何仅更改HIVE的HDFS复制因子

hadoop - 使用 oozie 调用 pig - org.apache.pig.Main 退出代码 [2]

hadoop - 每年出版书籍频率的 Pig 脚本

bash - awk 前的令人困惑的反斜杠,这是什么意思?

linux - linux中过滤掉具有读访问权限的文件的命令是什么?

hadoop - PIG latin - DUMP 命令不显示

Hadoop分析两个不同结构的文件