scala - 是否可以将 json4s 3.2.11 与 Spark 1.3.0 一起使用？

Question

Spark 依赖 json4s 3.2.10，但是这个版本有几个 bug，我需要使用 3.2.11。我将 json4s-native 3.2.11 依赖项添加到 build.sbt 并且一切都编译得很好。但是当我提交我的 JAR 时，它为我提供了 3.2.10。

生成.sbt

import sbt.Keys._

name := "sparkapp"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core"  % "1.3.0" % "provided"

libraryDependencies += "org.json4s" %% "json4s-native" % "3.2.11"`

插件.sbt

logLevel := Level.Warn

resolvers += Resolver.url("artifactory", url("http://scalasbt.artifactoryonline.com/scalasbt/sbt-plugin-releases"))(Resolver.ivyStylePatterns)

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")

应用程序1.scala

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.{Logging, SparkConf, SparkContext}
import org.apache.spark.SparkContext._

object App1 extends Logging {
  def main(args: Array[String]) = {
    val conf = new SparkConf().setAppName("App1")
    val sc = new SparkContext(conf)
    println(s"json4s version: ${org.json4s.BuildInfo.version.toString}")
  }
}

sbt 0.13.7 + sbt 组装 0.13.0
斯卡拉 2.10.4

有没有办法强制使用 3.2.11 版本？

Answer 1

我们遇到了一个类似于 Necro 描述的问题，但是在构建组装 jar 时从 3.2.11 降级到 3.2.10 并没有解决它。我们最终通过在作业程序集 jar 中对 3.2.11 版本进行着色来解决它(使用 Spark 1.3.1):

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("org.json4s.**" -> "shaded.json4s.@1").inAll
)