hadoop - 仅主节点在使用Hadoop 2.6.0的4节点集群上工作

标签 hadoop mapreduce

我正在尝试设置和使用4节点Hadoop集群。
设置似乎可以进行,因为一切都在主节点和从节点中运行。

主节点:DataNode,ResourceManager,SecondaryNameNode,NameNode,NodeManager

从站:NodeManager,DataNode

另外,日志没有显示任何错误。但是,当我尝试运行代码时,与在单个节点上运行代码所花费的时间大致相同。另外,任何从属节点上的CPU Activity 都没有增加。

从站可以SSH到主节点,主节点正在正确的端口侦听,...

关于如何找出问题的任何帮助?

谢谢!

作业系统:Ubuntu 14.04.2
Hadoop版本:2.6.0

我看到了相关的问题,但是它们对我没有帮助:

hadoop cluster is using only master node or all nodes

Hadoop use only master node for processing data

最佳答案

基本上,您只有一个数据节点和两个节点对象。与单节点群集相比,它的配置不是很多。要查看发生了什么,您可以转到资源管理器UI。默认情况下,其端口为8088。

关于hadoop - 仅主节点在使用Hadoop 2.6.0的4节点集群上工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29285074/

相关文章:

hadoop - 使用一个脚本为多个月创建配置单元分区

hadoop - Cassandra - Hive 集成

hadoop - Sqoop 增量导入到 S3 Wrong FS 报错

mapreduce - pymongo 用户断言 : 13606 :'out' has to be a string or an object

java - 如何在hadoop mapreduce中选择组合键中的值

hadoop - Hbase:我在分布式模式下将hbase群集起来,并且启动正常,但是当我运行hbase shell时,我无法创建表

java - Hadoop map-reducer 没有写入任何输出

javascript映射两个嵌套数组并通过查找修改现有数组

javascript - Mongodb 按 dbref 字段分组

hadoop - 如何在 oozie 协调器中使用一天的旧数据集