一个 pig 脚本可以被翻译成多个 MR 作业,我想知道是否有一个界面或方法来查看整个 PIG 脚本的进度,比如有多少作业被调度、执行等等。
最佳答案
我们在 Twitter 遇到了同样的问题,因为我们的一些 Pig 脚本启动了数十个 Map-Reduce 作业,有时很难判断它们中的哪个在做什么,计划效率的原因,了解有多少会运行并行等
因此我们创建了 Twitter Ambrose:https://github.com/twitter/ambrose
它会启动一个小型码头服务器,为您提供一个漂亮的 Web 用户界面,显示作业 DAG,在作业完成时为节点着色,为您提供有关作业的统计信息,并告诉您每个作业正在尝试计算哪些关系。
关于hadoop - 如何查看PIG作业的整体进度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11986739/