hadoop - 如何查看PIG作业的整体进度

标签 hadoop apache-pig

一个 pig 脚本可以被翻译成多个 MR 作业,我想知道是否有一个界面或方法来查看整个 PIG 脚本的进度,比如有多少作业被调度、执行等等。

最佳答案

我们在 Twitter 遇到了同样的问题,因为我们的一些 Pig 脚本启动了数十个 Map-Reduce 作业,有时很难判断它们中的哪个在做什么,计划效率的原因,了解有多少会运行并行等

因此我们创建了 Twitter Ambrose:https://github.com/twitter/ambrose

它会启动一个小型码头服务器,为您提供一个漂亮的 Web 用户界面,显示作业 DAG,在作业完成时为节点着色,为您提供有关作业的统计信息,并告诉您每个作业正在尝试计算哪些关系。

关于hadoop - 如何查看PIG作业的整体进度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11986739/

相关文章:

java - Hadoop map-reduce 输出包含奇怪的字符

hadoop - 如何将 tar.gz 中的多个文件加载到 Pig 中

json - 带有嵌套Json的Hadoop PIG

json - 在 PIG Latin 中将字符串转换为长整型

hadoop - JAVA_HOME=$JAVA_HOME 在 hadoop 中不起作用

hadoop - 在 Impala 中使用 Hive UDF 在 Impala 1.2.4 中给出错误结果

hadoop - 在 pig 中使用元组

hadoop - 在 HDP Hue Pig UI 中运行任何 Pig 作业时出错。错误 : "Please initialize HIVE_HOME"

hadoop - cdh4.3,日志异常,./start-dfs.sh后,datanode和namenode启动失败

java - pig - 我得到 "Error: Java heap space"和数十万元组