java - Hadoop 中的 Mapper 输出保存在哪里？

Question

我对有效管理 Hadoop shuffle 流量并有效利用网络带宽感兴趣。为此，我想知道每个数据节点生成多少洗牌流量？混洗流量只不过是映射器的输出。那么这个映射器输出保存在哪里？如何实时获取每个数据节点的映射器输出的大小？感谢您的帮助。

我创建了一个目录来存储此映射器输出，如下所示。

 <property>
 <name>mapred.local.dir</name>
 <value>/app/hadoop/tmp/myoutput</value>
 </property>                     

我看了

 hduser@dn4:/app/hadoop/tmp/myoutput$ ls -lrt
 total 16
 drwxr-xr-x 2 hduser hadoop 4096 Dec 12 10:50 tt_log_tmp
 drwx------ 3 hduser hadoop 4096 Dec 12 10:53 ttprivate
 drwxr-xr-x 3 hduser hadoop 4096 Dec 12 10:53 taskTracker
 drwxr-xr-x 4 hduser hadoop 4096 Dec 12 13:25 userlogs  

当我运行mapreduce作业时，我在这里找不到任何东西。

谢谢

Answer 1

映射作业的输出存储在映射器的本地磁盘中。一旦映射作业完成，这些本地输出就会被传输到 reducer 。您可以检查 $HADOOP_HOME/conf/mapred-site.xml 以检查映射器输出的存储位置。

<property>
    <name>mapred.local.dir</name>
    <value>$DIR</value>
</property>