Hadoop 执行 map、shuffle/sort 和 reduce 阶段。 我想知道每个阶段的持续时间。我的意思是，他们需要多长时间？
我搜索了很多文档，但找不到任何明确的解决方案。例如，我设置配置文件并启用分析器以使用 Hadoop 分析器。但是没有生成结果文件“java.hprof.txt”。此外，我不确定结果文件是否包含我想要的信息。
你能帮帮我吗？
最佳答案
跟踪工作进度的一种方法是查看 Hadoop 提供的 Web UI。默认情况下，它位于 http://server-adress:50030/jobtracker.jsp。
您可以在其中找到有关任务运行时间、任务进度、查看日志和许多其他有用工具的信息。
关于java - 如何测量 Hadoop 中每个阶段(映射、洗牌/排序、减少)的持续时间？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22188887/