hadoop - Hadoop TestDFSIO的度量单位是什么?

标签 hadoop hdfs

查看HDFS流量时,TestDFSIO使用“mb / sec”作为度量单位。这是兆字节/秒,兆位/秒还是兆字节/秒?我怀疑这是兆字节/秒,但是找不到关于此的清晰文档。

示例输出:

15/07/06 09:59:33 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
15/07/06 09:59:33 INFO fs.TestDFSIO:            Date & time: Mon Jul 06 09:59:33 CEST 2015
15/07/06 09:59:33 INFO fs.TestDFSIO:        Number of files: 10
15/07/06 09:59:33 INFO fs.TestDFSIO: Total MBytes processed: 10000.0
15/07/06 09:59:33 INFO fs.TestDFSIO:      Throughput mb/sec: 17.08896343474494
15/07/06 09:59:33 INFO fs.TestDFSIO: Average IO rate mb/sec: 18.49329376220703
15/07/06 09:59:33 INFO fs.TestDFSIO:  IO rate std deviation: 5.178436159603544
15/07/06 09:59:33 INFO fs.TestDFSIO:     Test exec time sec: 93.996

注意,不可能通过使用总兆字节数和测试执行程序来推导单位。时间,因为吞吐量是使用映射时间总和来衡量的。

最佳答案

我认为它是兆字节每秒。来源:请参阅“关于数学” https://support.pivotal.io/hc/en-us/articles/200864057-Running-DFSIO-mapreduce-benchmark-test

关于hadoop - Hadoop TestDFSIO的度量单位是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31242225/

相关文章:

file - 使用 csv 的 hadoop -put 命令“无法从空字符串创建路径”

hadoop - 在哪里可以找到损坏 block 的副本

hadoop - Oozie - 有没有办法在整个集群上只执行一个 java 操作实例?

hadoop - oozie作业提交失败,并检查您的mapreduce.framework.name配置和相应的服务器地址

Hadoop: `hdfs getconf -confKey [key]` 有哪些关键参数可用?

scala - 无法使用 Maven 项目从 Eclipse 通过 HiveContext 访问配置单元表

hadoop命令一次获取多个文件夹的大小

hadoop - 长时间服用 pig 的DUMP

hadoop - 使用 hive 的合并语句将增量数据合并到外部表中

hadoop - Hadoop 中的小文件 vs Shuffle Time - Tunning