我正在尝试使用 zeppelin 中的 rest API 提取 twitter 数据。尝试了两个选项 registerAsTable
和 registerTempTable
,两种方式都行不通。请帮我解决错误。执行 zeppelin 教程代码时出现以下错误:
error: value registerAsTable is not a member of org.apache.spark.rdd.RDD[Tweet] ).foreachRDD(rdd=> rdd.registerAsTable("tweets")
最佳答案
RDD 不能注册为表,而数据帧可以。您可以将 RDD 转换为数据帧,然后将生成的数据帧写入临时表或表。
您可以将 RDD 转换为 Dataframe,如下所示
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
rdd.toDF()
引用 How to convert rdd object to dataframe in spark和 http://spark.apache.org/docs/latest/sql-programming-guide.html
关于twitter - 值 registerAsTable 不是 org.apache.spark.rdd.RDD[Tweet] 的成员,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35311229/