hadoop - [hdfs]如何为每个datanode配置不同的dfs.datanode.data.dir?

标签 hadoop hdfs configure

我使用 ambari 设置 hadoop 集群。

但是当我配置 hdfs 的配置时。我发现如果修改dfs.datanode.data.dir,配置就会在所有datanode上生效...

如何为每个数据节点配置不同的配置?

比如A机器有两 block 磁盘,分别挂载到/data1、/data2

但是B机器只有一个磁盘,挂载到/data1

所以我想将机器 A 的 dfs.datanode.data.dir 配置为“/data1,/data2”。 但机器 B 仅有“/data1”

最佳答案

不存在的 HDFS 目录将被忽略。把它们全部放进去,没关系。

关于hadoop - [hdfs]如何为每个datanode配置不同的dfs.datanode.data.dir?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22084768/

相关文章:

hadoop - 通过HDFS Sink将带有水槽的事件写入S3以确保事务

java - 在spark java api中递归地从HDFS读取所有文件

hadoop - Cloudera Hadoop磁盘空间和hdfs有问题吗?

unix - 为什么总是./configure;制作;进行安装;作为 3 个单独的步骤?

java - 如何为 Tomcat 配置 CometConnectionManagerValve?

hadoop - 将 hadoop fs 路径转换为 ​​hdfs ://paths on EMR

HDInsight集群的Linux分布信息

hadoop - 在序列化数据中找不到必填字段 'uncompressed_page_size'! Parquet

Python 和 Hadoop - 使用 python 直接获取数据并将其写入 hdfs?

Python/Tkinter根窗口后台配置