hadoop - 使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR

Question

我正在尝试使用 yarn 运行 Spark，但我遇到了这个错误:

线程“main”中的异常 java.lang.Exception:当使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。

我不确定“环境”在哪里(具体是什么文件？)。我尝试使用:

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在 bash_profile 中，但这似乎没有帮助。

Answer 1

在使用 Yarn 运行 spark 时，您需要在 spark-env.sh

中添加以下行

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意:检查 $HADOOP_HOME/etc/hadoop 在您的环境中是否正确。 spark-env.sh 也包含 HADOOP_HOME 的导出。