java - Hadoop Mapreduce 计数器

Question

关闭。这个问题需要更多 focused .它目前不接受答案。












想改进这个问题？更新问题，使其仅关注一个问题 editing this post .

6年前关闭。




Improve this question




谁能详细解释以下文件系统计数器的含义？

FILE_BYTES_READ

FILE_BYTES_WRITTEN

FILE_READ_OPS

FILE_LARGE_READ_OPS

FILE_WRITE_OPS

HDFS_BYTES_READ

HDFS_BYTES_WRITTEN

HDFS_READ_OPS

HDFS_LARGE_READ_OPS

HDFS_WRITE_OPS

Answer 1

FILE_BYTES_READ 是 本地文件系统读取的字节数 .假设所有 map 输入数据都来自 HDFS，那么在 map 阶段 FILE_BYTES_READ 应该为零。另一方面，reducer 的输入文件是从 map 端磁盘获取的 reduce 端本地磁盘上的数据。因此，FILE_BYTES_READ 表示 reducer 读取的总字节数。

FILE_BYTES_WRITTEN 由两部分组成。第一部分来自映射器。所有映射器都会将中间输出溢出到磁盘。映射器写入磁盘的所有字节都将包含在 FILE_BYTES_WRITTEN 中。第二部分来自 reducer 。在 shuffle 阶段，所有的 reducer 都会从 mapper 中获取中间数据，并合并和溢出到 reducer 端的磁盘。 reducer 写入磁盘的所有字节也将包含在 FILE_BYTES_WRITTEN 中。

HDFS_BYTES_READ 表示作业开始时映射器从 HDFS 读取的字节数。该数据不仅包括源文件的内容，还包括有关拆分的元数据。

HDFS_BYTES_WRITTEN 表示写入 HDFS 的字节数。它是最终输出的字节数。

读取操作 - 读取操作的数量，例如 listStatus、getFileBlockLocations、open 等。

写操作 - 写入操作的数量，例如创建、追加、设置权限等。

http://comphadoop.weebly.com/experiment-and-results.html