我有一个使用spark和spark sql的sbt项目,但是我的集群使用hadoop 1.0.4和spark 1.2以及spark-sql 1.2,目前我的build.sbt看起来像这样:
libraryDependencies ++= Seq(
"com.datastax.cassandra" % "cassandra-driver-core" % "2.1.5",
"com.datastax.cassandra" % "cassandra-driver-mapping" % "2.1.5",
"com.datastax.spark" % "spark-cassandra-connector_2.10" % "1.2.1",
"org.apache.spark" % "spark-core_2.10" % "1.2.1",
"org.apache.spark" % "spark-sql_2.10" % "1.2.1",
)
事实证明,我正在使用 hadoop 2.2.0 运行应用程序,但我希望在我的依赖项中看到 hadoop-*-1.0.4。请问我该怎么办?
最佳答案
您可以排除 Spark 对 hadoop 的依赖关系,并添加一个包含您需要的版本的显式依赖项,大致如下:
libraryDependencies ++= Seq(
"com.datastax.cassandra" % "cassandra-driver-core" % "2.1.5",
"com.datastax.cassandra" % "cassandra-driver-mapping" % "2.1.5",
"com.datastax.spark" % "spark-cassandra-connector" %% "1.2.1",
"org.apache.spark" % "spark-sql_2.10" % "1.2.1" excludeAll(
ExclusionRule("org.apache.hadoop")
),
"org.apache.hadoop" % "hadoop-client" % "2.2.0"
)
您可能不需要对 spark-core
的依赖,因为 spark-sql
应该将它传递给您。
此外,请注意 spark-cassandra-connector
可能还依赖于 Spark,这可能会再次间接带回 hadoop => 您可能还需要在那里添加排除规则。
最后说明:一个出色的工具,用于调查 https://github.com/jrudolph/sbt-dependency-graph 的依赖项来自何处。
关于scala - 在sbt中,如何指定spark依赖的hadoop版本呢?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30860551/