我用的是hadoop hadoop-2.2.0。我可以在主节点和从节点启动historyserver吗?
但我不确定是否需要在从服务器上启动历史服务器 节点?
如果我在 master 上启动一个历史服务器,我可以获取所有作业的所有日志吗?
如果我需要同时启动主从节点中的所有服务器,是否有任何命令可以使用一条命令启动所有服务器?不是一一启动每个服务器。
欢迎任何评论。
最佳答案
您只需要一个历史服务器。它可以在您喜欢的任何节点上运行,包括它自己的专用节点,但传统上与资源管理器在同一节点上运行。一个历史服务器在 mapred-site.xml 中声明:
mapreduce.jobhistory.address
: MapReduce JobHistory Server host:port 默认端口为 10020。mapreduce.jobhistory.webapp.address
:MapReduce JobHistory Server Web UI host:port 默认端口为 19888。mapreduce.jobhistory.intermediate-done-dir
:MapReduce 作业(在 HDFS 中)写入历史文件的目录。默认为/mr-history/tmp
mapreduce.jobhistory.done-dir
:MR JobHistory Server(在 HDFS 中)管理历史文件的目录。默认为/mr-history/done
您可以通过 historyserver REST API 访问历史记录,您不直接访问内部历史文件。对于随意浏览,资源管理器网络用户界面中提供了历史记录。
关于hadoop - hadoop 2.2 的 historyserver 的正确使用方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21843276/