hadoop - 如何从映射器或化简器内部获取Hadoop任务跟踪器信息

标签 hadoop mapreduce task-tracking

您的Mapper和Reducer类始终在特定的任务跟踪器上运行。但是,如何获得任务跟踪器上的信息?传递给setup方法的唯一内容是TaskInputOutputContext。您可以获取任务尝试ID,但是如何将其映射到TaskTracker对象? (例如,获取主机名,相应的作业跟踪器等。是的,我知道您可以通过java.net.InetAddress.getLocalHost().getHostName()获取主机名,但这完全在Hadoop之外。)

最佳答案

您可以随时访问MapReduce网络用户界面并查看所有这些信息。只需单击要分析的作业,然后您就可以查看单个 map 和简化任务的几乎所有内容。

关于hadoop - 如何从映射器或化简器内部获取Hadoop任务跟踪器信息,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11824467/

相关文章:

java - Hadoop:如何维护数据节点方法执行的计数器?

performance - Hadoop CDH5使用1个MapReduce TaskTracker在10个节点上的最高网络性能

git - git 中的分支描述,续

hadoop - 我正在使用由我的 friend 指定的已经配置的hadoop,那么如何获取namenode的名称?

python - Hadoop:无法运行MapReduce作业(python)

hadoop - 如何检查hadoop上的参数是否已设置?

python - 如何在 python 3 中导入 "HdfsClient"?

hadoop - 使用 Pig 加载 Json 数据

sql - 按平均值排序,然后使用 Hive 插入到新表中