hadoop - 如何从客户端节点运行hadoop balancer?

标签 hadoop client hdfs nodes load-balancing

我想问一下如何运行hadoop平衡器?我之前曾在namenode上尝试过运行hadoop balancer命令,但它根本没有任何效果(我的新datanode仍然为空)。我还读到hadoop balancer不是在namenode上运行,而是在客户端节点上运行。那么客户端节点是什么,我该如何配置它,以及客户端节点如何访问hadoop文件系统?

谢谢大家,我需要你的建议

最佳答案

客户端节点也称为边缘节点,通常,组织中的所有开发人员都无法访问群集上的所有节点。因此,对于开发人员来说,访问集群通常会拥有一个Client节点。您需要在客户端节点上安装hadoop-client软件包。如果您正在使用基于cloudera RPM的安装,则可以使用以下命令。

sudo yum install hadoop-client

安装客户端节点后,更新您的配置文件,例如core-site.xml,hdfs-site.xml和其他必需文件。现在,当您执行hadoop CLI命令时,它们将在集群上执行。

平衡器可以从群集中的任何节点运行。它可以是客户端计算机/群集中的任何节点。
sudo -u hdfs hdfs balancer

对于新添加的datanode,只需检查namenode Web UI是否添加了节点?如果您可以在那里看到,只需检查日志即可。

关于hadoop - 如何从客户端节点运行hadoop balancer?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30111128/

相关文章:

java - Hadoop 中的文件 ID

hadoop - pig udf计算博客中的时间差

java - Hadoop 将数据附加到 hdfs 文件并忽略重复条目

apache-spark - Spark 数据集连接性能

hadoop - Hive on Tez 中的 ORDER BY 语句抛出 OOM 异常

c++ - C++ 中的仅限 gRPC 的 Tensorflow 服务客户端

python - 服务器脱机时如何保持代码在客户端上运行

java - Apache Helix 与 YARN

hadoop - 提取 hadoop 作业的属性

java.rmi.ConnectException : Connection refused to host: 10. 0.0.57