我有个问题。如何执行Mapreduce作业以实现HiveQL语句。例如,我们有一个表,其列名称为color,width和其他一些列。假设我想在 hive 中选择颜色,我可以从表名中选择颜色。同样,在Mapreduce中获取颜色的代码是什么。
最佳答案
您可以使用Thrift服务器。您可以通过JDBC连接到配置单元。您需要做的就是在类路径中包含hive-jdbc jar。
但是这是明智的吗?好吧,我不确定。如果您在映射器中执行否,那么这是一个非常糟糕的设计模式。映射程序的数量由数据大小确定。
作为对MR工作的多个输入,可以实现相同的目的。
但是那时我对您的用例并不了解。因此节俭将是必经之路。
关于hadoop - Mapreduce Job实现HiveQL语句,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23248002/