hadoop - 分析 Pig/Hive 编译器生成的 Map-Reduce 作业

标签 hadoop hive apache-pig

有没有办法查看由 Pig 和 Hive 生成​​的 Map-Reduce 作业的代码?

我知道使用 Hive,我可以查看抽象语法树,但似乎无法访问 MR 作业的实际 Java 代码。我的假设有误吗?

最佳答案

Pig 和 Hive 不生成任何 Java 代码,而是进行计划。可以使用 shell 中的 explain 命令查看该计划。从 SQL 生成 Java 代码的一种方法是使用 YSmart .请注意,有很多 changes发生在 Hive 中以使其更快。

关于hadoop - 分析 Pig/Hive 编译器生成的 Map-Reduce 作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15953072/

相关文章:

hadoop - Hadoop上的提取失败太多

sql - 匹配Hive中STRUCT列中的字符串

hive - 如何使用横向 View 分解在 Hive 中将分隔字符串拆分为多行

hadoop - 筛选出PIG中的重复项

hadoop - 如何从oozie执行sqoop工作?

hadoop - 为什么用户需要对外部配置单元表位置的写权限?

python - 如何使用Ruby CLI客户端基于Amazon Elastic MapReduce上的JSON JobFlow描述启动JobFlow

hive - 如何删除配置单元中的 jar 文件?

hadoop - 如何在 PIG 中的键匹配时对特定列求和

hadoop - 按 Pig Latin 中的最后一列过滤 - 当未指定架构时