java - Spark 作业失败，因为它找不到 hadoop core-site.xml

Question

我正在尝试运行 spark 作业，但在尝试启动驱动程序时出现此错误:

16/05/17 14:21:42 ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: Added file file:/var/lib/mesos/slave/slaves/0c080f97-9ef5-48a6-9e11-cf556dfab9e3-S1/frameworks/5c37bb33-20a8-4c64-8371-416312d810da-0002/executors/driver-20160517142123-0183/runs/802614c4-636c-4873-9379-b0046c44363d/core-site.xml does not exist.
    at org.apache.spark.SparkContext.addFile(SparkContext.scala:1364)
    at org.apache.spark.SparkContext.addFile(SparkContext.scala:1340)
    at org.apache.spark.SparkContext$$anonfun$15.apply(SparkContext.scala:491)
    at org.apache.spark.SparkContext$$anonfun$15.apply(SparkContext.scala:491)
    at scala.collection.immutable.List.foreach(List.scala:318)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:491)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:59)
    at com.spark.test.SparkJobRunner.main(SparkJobRunner.java:56)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我在多个服务器上运行了 spark，这些服务器是我的 mesos 集群的一部分(不确定是否正确，但这就是我正在做的)我还在这些服务器上运行了 hadoop。我在一台服务器上启动了 spark master，然后在其他服务器上启动了 spark slave。我有 3 个应用程序，这并不重要，但我有一个 UI，用户可以在其中启动 spark 作业，它将作业放入 kafka 队列中，我有一个使用 SparkLauncher 创建 spark 作业的启动器应用程序(请参阅下面的代码)然后我有我的 spark 驱动程序，它连接到 kafka 队列，然后处理从 UI 发送的请求。用户界面和启动器正在马拉松中运行。如上所述，Spark 是集群上的自己的进程，驱动程序连接到 spark 以运行作业。 编辑:我已经将 hdfs-site.xml、core-site.xml 和 spark-env.sh 上传到 hadoop 并在我的 spark 上下文中指向它们:

SparkConf conf = new SparkConf()
                .setAppName(config.getString(SPARK_APP_NAME))
                .setMaster(sparkMaster)
                .setExecutorEnv("HADOOP_USER_NAME", config.getString(HADOOP_USER, ""))
                .set("spark.mesos.uris", "<hadoop node>:9000/config/core-site.xml,<hadoop node>:9000/config/hdfs-site.xml") 
                .set("spark.files", "core-site.xml,hdfs-site.xml,spark-env.sh") 
                .set("spark.mesos.coarse", "true")
                .set("spark.cores.max", config.getString(SPARK_CORES_MAX))
                .set("spark.driver.memory", config.getString(SPARK_DRIVER_MEMORY))
                .set("spark.driver.extraJavaOptions", config.getString(SPARK_DRIVER_EXTRA_JAVA_OPTIONS, ""))
                .set("spark.executor.memory", config.getString(SPARK_EXECUTOR_MEMORY))
                .set("spark.executor.extraJavaOptions", config.getString(SPARK_EXECUTOR_EXTRA_JAVA_OPTIONS))
                .set("spark.executor.uri", hadoopPath);

这是启动驱动程序的代码:

SparkLauncher launcher = new SparkLauncher()
            .setMaster(<my spark/mesos master>)
            .setDeployMode("cluster")
            .setSparkHome("/home/spark")
            .setAppResource(<hdfs://path/to/a/spark.jar>)
            .setMainClass(<my main class>);
handle = launcher.startApplication();

我确定我做错了什么我只是不知道是什么。我是 spark、hadoop 和 mesos 的新手，所以请随时指出我做错的任何其他事情。

Answer 1

我的问题是我没有在集群中的每台服务器上的 $SPARK_HOME/spark-env.sh 中设置 HADOOP_CONF_DIR。一旦我设置好，我就能够让我的 spark 工作正确启动。我还意识到我不需要在 SparkConf 中包含 core-site.xml、hdfs-site.xml 或 spark-env.sh 文件，所以我删除了设置“spark.files”的行