hadoop - Spark/Hadoop - 无法找到 DIGEST-MD5 的 SASL 服务器实现

Question

几个小时以来，我一直在尝试设置 Hadoop/YARN，以便在其上执行 Spark 程序。

但我遇到了一个错误，我完全找不到任何错误。

当我尝试使用 --master yarn 执行 spark-submit 或 spark-shell 命令时，出现以下异常:

Application application_1481891851677_0002 failed 2 times due to Error launching appattempt_1481891851677_0002_000002. 
Got exception: org.apache.hadoop.security.AccessControlException: Unable to find SASL server implementation for DIGEST-MD5 

我使用了spark和hadoop入门教程的配置:

核心站点.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

hdfs-site.xml

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

yarn-site.xml

    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

我没有在任何地方启用 SASL。有人知道我将如何修复或至少规避错误吗？

Answer 1

我弄清楚是jdk版本的问题。当我的 mapReduce 作业使用 openjdk-9 在 Hadoop 2.8 上工作时，我遇到了这个错误。我改成openjdk-8或openjdk-7后，效果很好。