hadoop - hadoop 2.4.0 中 TestDFSIO 的任何等效文件?

标签 hadoop

我是 hadoop 的新手。我想对 hadoop 集群进行压力/性能测试。为此,我按照 Hadoop benchmarking 给出的说明进行操作。 .不同之处在于,在教程中他谈论的是 hadoop 0.20.0 版本,而我试图在 hadoop 2.4.0 中运行类似的东西。我知道教程可能无法完全使用,因为版本有很多变化。为了在 Hadoop 上执行 IO 性能测试,在教程中他告诉我使用 TestDFSIO。但是我在我的 hadoop 安装中找不到相同的东西。

为了找到 TestDFSIO,我尝试了以下命令,

jar tf /home/hadoop/share/hadoop/hdfs/hadoop-hdfs-2.4.0-tests.jar|grep TestDFS

但是没找到。所以,我假设我的文件名在新版本中被更改了。有人可以帮忙找到新文件名吗?或 hadoop 2.4.0 所需的等效基准测试技术?

最佳答案

找到了包含 TestDFSIO 和其他基准测试类/代码的 jar。它存在于

/home/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.4.0-tests.jar

这里的/home/hadoop是我的hadoop安装路径。对你来说可能不一样。

关于hadoop - hadoop 2.4.0 中 TestDFSIO 的任何等效文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28690055/

相关文章:

r - 将R Sys.time()转换为 hive 时间戳data_type

hadoop - 无法为您的平台加载 native-hadoop 库

hadoop - pig 示例 apache [输入路径不存在]

java - 没有用于方案的文件系统:null

hadoop - 如何使用 Hadoop WebHDFS 读取和传输文件 block ?

hadoop - Namenode无法离开安全模式

hadoop - 如何计算hadoop中flume的吞吐量

hadoop - 在ambari上安装服务时无法获取此主机上安装的组件的列表

scala - Apache Spark : Get number of records per partition

database - 关于 hadoop、hbase 等非 sql 数据库的帮助