hadoop - Mapreduce Job实现HiveQL语句

标签 hadoop mapreduce hive bigdata

我有个问题。如何执行Mapreduce作业以实现HiveQL语句。例如,我们有一个表,其列名称为color,width和其他一些列。假设我想在 hive 中选择颜色,我可以从表名中选择颜色。同样,在Mapreduce中获取颜色的代码是什么。

最佳答案

您可以使用Thrift服务器。您可以通过JDBC连接到配置单元。您需要做的就是在类路径中包含hive-jdbc jar。

但是这是明智的吗?好吧,我不确定。如果您在映射器中执行否,那么这是一个非常糟糕的设计模式。映射程序的数量由数据大小确定。

作为对MR工作的多个输入,可以实现相同的目的。

但是那时我对您的用例并不了解。因此节俭将是必经之路。

关于hadoop - Mapreduce Job实现HiveQL语句,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23248002/

相关文章:

mysql - HiveQL 按列值的子字符串分组并识别缺失的组

Hadoop Pig 无法存储到现有文件夹

node.js - 使用 Array 进行 MongoDB 正则表达式搜索

hadoop - Iterable 在 mapreduce Reduce Task 中不起作用

hadoop - 当 reducer 的输出 VALUE 为 null 时,如何使用 combiner?

apache-spark - Pyspark 中是否有等效于 SQL 的 MSCK REPAIR TABLE 的方法

hadoop - pig 作业失败。需要建议

mongodb - 多个集合作为hadoop mapreduce作业的mongodb的输入

hadoop - HIVE中的NULL检查

hadoop - 安装Hue时未创建sample_07表