apache-spark - 无法加载数据源 : com. databricks.spark.csv 的类

Question

我的build.sbt文件有这个:

scalaVersion := "2.10.3"
libraryDependencies += "com.databricks" % "spark-csv_2.10" % "1.1.0"

我在独立集群模式下运行 Spark，我的 SparkConf 为 SparkConf().setMaster("spark://ec2-[ip].compute-1.amazonaws.com:7077").setAppName("简单应用程序”)(我没有使用方法setJars，不确定我是否需要它)。

我使用命令 sbt package 打包 jar。我用来运行应用程序的命令是 ./bin/spark-submit --master spark://ec2-[ip].compute-1.amazonaws.com:7077 --class "[classname]"target/scala-2.10/[jarname]_2.10-1.0.jar.

运行此程序时，我收到此错误:

java.lang.RuntimeException: Failed to load class for data source: com.databricks.spark.csv

有什么问题吗？

Answer 1

相应地使用依赖项。例如:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.6.1</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.6.1</version>
</dependency>

<dependency>
    <groupId>com.databricks</groupId>
    <artifactId>spark-csv_2.10</artifactId>
    <version>1.4.0</version>
</dependency>