linux - 在 Ubuntu Linux 上运行 Hadoop(多节点集群)

标签 linux hadoop mapreduce hdfs

我已经在2个集群上实现了hadoop,但是我无法运行TaskTracker&DataNode&jobTracker,因此无法在hdfs上运行copyFromLocal命令。我在运行start-all.sh命令后使用hadoop 2.6.5.i运行jps命令:(在master上)

ResourceManager
NameNode
jps
JobHistoryServer
NodeManager

我运行 jps 命令:(在从属设备上)

jps
NodeManager

谁能帮我运行TaskTracker & DataNode & jobTracker?

最佳答案

TaskTracker & jobTracker

这些服务在Hadoop2及以上版本上不存在,被YARN的Node+ResourceManager服务替代。

您可以运行start-dfs.sh来启动Datanode,并且您应该查看相应的datanode日志文件以确定其无法启动的原因。

例如,您必须在 Datanode 启动之前格式化 namenode (hadoop namenode -format)

关于linux - 在 Ubuntu Linux 上运行 Hadoop(多节点集群),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52319611/

相关文章:

java - 在 Windows 7 SP1 上安装 Hadoop 2.7.1 时出现 CMake 错误

hadoop - 控制和监视 YARN 中同时进行的 mapreduce 任务的数量

java - 在Java中有什么方法可以共享内存位置来交换一些实时小数据包?

hadoop datanode 机架感知设置

linux - 在 BASH 中使用特殊字符从文件名中批量删除子字符串

sql-server - 使用jtds驱动程序从hdfs到SQL Server 2005的Sqoop导出失败

MongoDB 允许磁盘使用不工作..

java - MapReduce 中的函数组合

linux - 如何从jetty webroot文件夹外部访问资源(图像/mp3)?

Linux CentOS 服务器启动脚本 : Minecraft Server