hadoop - fs.checkpoint.dir 和 dfs.name.dir 有什么区别?

标签 hadoop hdfs

主要是dfs.name.dir属性是用来存储namenode的fsimage到特定位置备份的,fs.checkpoint.dir属性是fsimage合并的位置。这让我有点困惑。任何人都可以详细解释我。

最佳答案

dfs.name.dir 是namenode在磁盘中存放fsimage和editlogs的地方。这是一个强制性的位置。没有这个位置,hadoop 集群将无法启动。这将位于名称节点主机中。

fs.checkpoint.dir 是本地文件系统上的目录,DFS 辅助名称节点应在其中存储要合并的临时图像。如果这是一个以逗号分隔的目录列表,则图像将复制到所有目录中以实现冗余。这不是强制性位置。如果没有这个目录,hadoop 集群也会启动。这将位于辅助名称节点主机中。

fsimage 和编辑日志通过辅助名称节点定期合并。如果 secondary 不存在,fsimage 和 editlogs 的合并只会在 namenode 重启时发生。

secondary namenode的解释可以在这个blog post中找到

关于hadoop - fs.checkpoint.dir 和 dfs.name.dir 有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32306065/

相关文章:

java - 为 cassandra 创建 ColumnFamilyInputFormat 的自定义 InputFormat

hadoop - 如何将Hive中的url查询字符串解析为多个键值对

hadoop - 将大量文件从 hdfs 移动到 hdfs

hadoop - 作业运行期间可以更改 HDFS block 大小吗?自定义拆分和变体大小

macos - 允许守护进程用户 SSH 登录 key

hadoop - Apache Phoenix安装未正确完成

hadoop - S3 Flume HDFS SINK 压缩

hadoop - Hbase master 启动失败异常Java.Lang.NoSuchMethodException

hadoop - 无法删除HDFS丢失/损坏的文件

hadoop - hadoop 的分布式替代品