hadoop - datanode DataNode失败的卷上出现致命磁盘错误:

标签 hadoop

我在我的namenode上收到以下日志并将其从执行中删除我的datanode

2013-02-08 03:25:54,345 WARN  namenode.NameNode (NameNodeRpcServer.java:errorReport(825)) - Fatal disk error on xxx.xxx.xxx.xxx:50010: DataNode failed volumes:/home/srikmvm/hadoop-0.23.0/tmp/current;
2013-02-08 03:25:54,349 INFO  net.NetworkTopology (NetworkTopology.java:remove(367)) - Removing a node: /default-rack/xxx.xxx.xxx.xxx:50010

有人可以建议如何纠正这一点吗?

数据节点日志:
2013-02-08 03:25:54,718 WARN datanode.DataNode (FSDataset.java:checkDirs(871)) - Removing failed volume /home/srikmvm/hadoop-0.23.0/tmp/current:   
    org.apache.hadoop.util.DiskChecker$DiskErrorException: can not create directory: /home/srikmvm/hadoop-0.23.0/tmp/current/BP-876979163-137.132.153.125-13602411944‌​23/current/finalized 
      at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:87)

最佳答案

导致此错误消息的原因:

  • 目录/目录的路径是否存在
  • 是否正在运行datanode进程的用户具有创建/写入此目录的权限

    /home/srikmvm/hadoop-0.23.0/tmp/current/BP-876979163-137.132.153.125-13602411944‌ 23 / current / finalized
  • 关于hadoop - datanode DataNode失败的卷上出现致命磁盘错误:,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14754673/

    相关文章:

    scala - Apache Spark 中的转换和操作

    hadoop - 如何使用配置单元拆分 url

    hadoop - 集群 CDH 安装在下载时卡住

    apache-spark - 通过 Spark 加载的表在 Hive 中无法访问

    python-2.7 - Python如何解决错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败,代码为2

    Hadoop : HDFS space quota

    hadoop - tpc-ds 不会将数据加载到表中(它会生成数据但卡在 loadinf 步骤中,只需从 24 个表中加载表 17,之后什么都不做)

    cuda - 我们如何在Hadoop上运行CUDA C程序?

    hadoop - HBaseTestingUtility在Windows 10上失败并显示UnsatisfiedLinkError

    java - Kerberos 身份验证错误 - 从 SharedPath 加载 Hadoop 配置文件时