我使用 hadoop 在我们的集群上运行 map-reduce 应用程序。这些工作每天大约需要 10 个小时才能完成。我想知道每项工作所花费的时间，以及最长工作所花费的时间等等，以便我可以优化这些工作。是否有任何插件或脚本可以执行此操作？
谢谢
巴拉
最佳答案
看看 http://:50030 或 http://:50030/jobhistory.jsp(在底部。
每个作业/任务/任务部分(映射、排序、缩减)都有一个分析。非常方便。您可以编写自己的日志 - 我只是“wget”所有分析页面，然后通过 awk 将它们放入粗略的统计数据中。
关于java - Hadoop - 作业统计，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/2414354/