hadoop - 在 HA HDFS 设置中更新集群 ID/名称

标签 hadoop hbase hdfs

我需要在 HA 中运行的 HDFS 设置中更新“dfs.nameservices”。只是更改属性会导致日志节点在启动时提示并且没有主节点被选举。请注意,我确实有不想丢失的数据,因此重新格式化可能不是答案。

HBase 也在这个 HDFS 设置之上运行,我需要特别注意那里的任何东西吗?

最佳答案

通过反复试验,我最终设法通过以下方式做到了这一点:

  • 停止集群上的所有 HDFS 进程
  • 更新 core-file.xml 中的“fs.defaultFS”,以及 hdfs-site.xml 中提到旧“dfs.nameservices”值的所有属性。
  • 启动所有日志节点
  • 在名称节点上运行“hdfs namenode -initializeSharedEdits”
  • 在名称节点上运行“hdfs zkfc -formatZK”
  • 再次启动所有HDFS进程
  • 关于hadoop - 在 HA HDFS 设置中更新集群 ID/名称,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43321580/

    相关文章:

    r - R工具是否与apache hadoop兼容

    hadoop - Hbase MuleSoft Cloudhub 连接

    hadoop - org.apache.hadoop.hbase.client.NoServerForRegionException

    hadoop - 如何从 hive 或 impala 读取 Hbase 当前和以前版本的数据?

    eclipse - 将 Hadoop 中的文件获取到 Web 应用程序中

    macos - Hadoop2.7.3 : Cannot see DataNode/ResourceManager process after starting hdfs and yarn

    hadoop - 这对 Text.hashCode() 和 Interger.MAX_VALUE 意味着什么?

    hadoop - “Combiner"mapreduce 作业中的类

    scala - Apache Spark - spark 中的内部作业调度程序如何定义用户和池

    hadoop - 想了解Apache Phoenix的查询执行计划