主要是dfs.name.dir属性是用来存储namenode的fsimage到特定位置备份的,fs.checkpoint.dir属性是fsimage合并的位置。这让我有点困惑。任何人都可以详细解释我。
最佳答案
dfs.name.dir
是namenode在磁盘中存放fsimage和editlogs的地方。这是一个强制性的位置。没有这个位置,hadoop 集群将无法启动。这将位于名称节点主机中。
fs.checkpoint.dir
是本地文件系统上的目录,DFS 辅助名称节点应在其中存储要合并的临时图像。如果这是一个以逗号分隔的目录列表,则图像将复制到所有目录中以实现冗余。这不是强制性位置。如果没有这个目录,hadoop 集群也会启动。这将位于辅助名称节点主机中。
fsimage 和编辑日志通过辅助名称节点定期合并。如果 secondary 不存在,fsimage 和 editlogs 的合并只会在 namenode 重启时发生。
secondary namenode的解释可以在这个blog post中找到
关于hadoop - fs.checkpoint.dir 和 dfs.name.dir 有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32306065/