hadoop - 在 hadoop 中调试数据节点

标签 hadoop

我在我的 3 台机器上安装了 hadoop 1.2.1。当一台机器退役时,它工作得很好。
但是在调试一个新的数据节点时,它会关闭我的其他 2 个数据节点。
设置如下:

  • 192.168.1.4 -- Namenode、SecondaryNameNode、DataNode、Tasktracker、Jobtracker
  • 192.168.1.5 -- 数据节点,任务跟踪器
  • 192.168.1.6 -- 数据节点、任务跟踪器

  • 我已将所有机器的复制因子设置为 2。
    我按照以下步骤调试数据节点:
    首先使用启动脚本以 192.168.1.4 和 192.168.1.5 启动我的集群。
    用 192.168.1.6 更新了我的包含文件

    bin/hadoop dfsadmin -refreshNodes

    bin/hadoop mradmin -refreshNodes


    更新了奴隶文件。

    bin/hadoop dfsadmin -report -- This shows my intitial running datanodes as dead and the included datanode alive.


    请让我知道这个过程中有什么问题以及为什么其他数据节点被关闭。

    最佳答案

    我不确定可能会出现什么问题,我尝试过调试,它工作正常,但你可以做一件事
    分别在死数据节点上执行以下命令

    1)./bin/hadoop-daemon.sh 启动数据节点
    2)./bin/hadoop-daemon.sh 启动tasktracker

    之后在namenode上执行以下命令
    1)bin/hadoop dfsadmin -report

    关于hadoop - 在 hadoop 中调试数据节点,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26406216/

    相关文章:

    hadoop - Apache Hadoop Yarn - 内核利用率不足

    linux - 如何强制将文件从Hdfs复制到linux文件系统?

    scala - 传递给 Spark 的 StreamingContext.fileStream[K, V, F] ("directory"的 Key、Value 和 InputFormat 类型的性质是什么

    java - 无法从Spark SQL插入到Hive分区表

    MySQL 和 HBase 连接

    hadoop - 如何让 HIVE 中的 CREATE TABLE...AS SELECT 不填充数据?

    hadoop - 是否可以设置用户/组/表级别的Hive配置参数?

    java - 如何在Hadoop配置中设置对象

    hadoop - HIVE 外部表 - 将空字符串设置为 NULL

    hadoop - Hadoop流随着python下降