apache-spark-sql - 来自 sbt scala 的 google dataproc 上的 Spark-SQL

Question

使用 Google Dataproc Spark 集群，我的 sbt 构建的程序集 jar 可以通过 SparkContext 访问 Cassandra。

但是，当我尝试通过 sqlContext 访问时，我得到在远程集群上找不到的 Spark sql 类 - 尽管我相信 dataproc 集群应该是为 Spark sql 配置的。

java.lang.NoClassDefFoundError: org/apache/spark/sql/types/UTF8String$
        at org.apache.spark.sql.cassandra.CassandraSQLRow$$anonfun$fromJavaDriverRow$1.apply$mcVI$sp(CassandraSQLRow.scala:50)
        at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala

我的 sbt 文件:

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "1.5.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "1.5.0" % "provided",
  "com.datastax.spark" %% "spark-cassandra-connector" % "1.4.0"
)

关闭spark-sql上的“provided”会让我陷入jar重复合并 hell 。

感谢您的帮助。

Answer 1

看来您还需要 spark-cassandra-connector 版本 1.5.0 来确保您的类兼容。这是commit which upgraded the cassandra connector to 1.5.0 ，您可以看到它删除了 org.apache.spark.sql.types.UTF8String 的导入，并添加了 import org.apache.spark.unsafe.types.UTF8String ，更改 CassandraSQLRow.scala 中的相关行:

       data(i) = GettableData.get(row, i)
       data(i) match {
         case date: Date => data.update(i, new Timestamp(date.getTime))
-        case str: String => data.update(i, UTF8String(str))
+        case bigInt: BigInteger => data.update(i, new JBigDecimal(bigInt))
+        case str: String => data.update(i, UTF8String.fromString(str))
         case set: Set[_] => data.update(i, set.toSeq)
         case _ =>
       }

尽管 Maven central for the cassandra connector 中似乎只有“里程碑”工件类型，而不是“发布”类型，您应该仍然可以获得最新的里程碑连接器 1.5.0-M2使用您的代码。

编辑:附加链接到 compatibility table from the Cassandra connector's GitHub README.md