apache-spark - Spark提交失败，返回码为13，例如wordCount

Question

我的spark-submit命令是:

spark-submit --class com.sundogsoftware.spark.WordCountBetterDataset --master yarn --deploy-mode cluster SparkCourse.jar

为了定义sparkSession，我使用以下代码:

val spark = SparkSession
  .builder
  .master("spark://youness:7077")
  .appName("WordCount")
  .getOrCreate()

但最后，我的工作失败，返回码为13。

Answer 1

您需要在代码中取消设置master。最好在以后发布spark-submit(spark-submit --master yarn-client ...)并且已经在上面进行设置时进行设置。只需从代码中删除.master("spark://youness:7077")。