apache-spark - 如何获取 saveToCassandra 并使用它？

Question

我正在使用spark-sql v2.3.1将数据写入cassandra v3.11.1。 要将数据帧写入 cassandra 表，我们可以使用

df.write.format("org.apache.spark.sql.cassandra") 
 .options(Map( "table" -> tname, "keyspace" -> keyspacename ))
 .mode(SaveMode.Append)
 .save();

但是对于相同的版本，我如何使用 saveToCassandra() 方法 我需要添加任何 jar 吗？我已经添加了spark-cassandra-connector 和cassandra-driver-core。我需要添加更多 jar 吗？我得到一个 SparkSession 作为 Spark，它不支持 createDateFrame()。

Answer 1

saveToCassandra 位于同一个包中，但它works on RDD ，而不是在 DataFrame 上。因此，如果您想使用该命令(确实应该是一个很好的理由)，您只需通过说 df.rdd 并调用 saveToCassandra 从数据框中获取 RDD > 关于它。