Hadoop dfs.include 文件

标签 hadoop

请解释 dfs.include 文件的用途以及如何定义它。 我已经向 Hadoop 集群添加了一个新节点,但名称节点未识别它。在其中一篇文章中,我发现 dfs.include 可以解决这个问题。 先感谢您, 弗拉迪

最佳答案

仅在 dfs.include 和 mapred.include 中包含节点名称是不够的。从属文件必须在 namenode/jobtracker 上更新。 tasktracker 和 datanode 必须在新节点上启动并且 refreshNodes 命令必须在 NameNode 和 JobTracker 上运行以让它们知道新节点。

这是 instructions关于如何做到这一点。

根据'Hadoop : The Definitive Guide'

The file (or files) specified by the dfs.hosts and mapred.hosts properties is different from the slaves file. The former is used by the namenode and jobtracker to determine which worker nodes may connect. The slaves file is used by the Hadoop control scripts to perform cluster-wide operations, such as cluster restarts. It is never used by the Hadoop daemons.

关于Hadoop dfs.include 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7464813/

相关文章:

java - 使用 hadoop 运行一个 jar 示例文件

apache-spark - 如何使用 Spark/PySpark 删除雪花目标表

hadoop - 无法通过CM5.5-vmware中的java客户端连接到hbase

hadoop - Hive - 生成序列或缺失数据

hadoop - 如何在oozie spark action中了解spark应用程序的父应用程序

hadoop - 使用Hbase运行Nutch crawler 2.2时获取空指针异常

python - 使用Apache Spark实现python功能

hadoop - hadoop的数据集

hadoop - hdfs(namenode)中使用的命名空间和元数据的含义是什么

hadoop - 即使有两行也无法占用内存