twitter - 值 registerAsTable 不是 org.apache.spark.rdd.RDD[Tweet] 的成员

标签 twitter apache-zeppelin twitter-rest-api

我正在尝试使用 zeppelin 中的 rest API 提取 twitter 数据。尝试了两个选项 registerAsTableregisterTempTable ,两种方式都行不通。请帮我解决错误。执行 zeppelin 教程代码时出现以下错误:

error: value registerAsTable is not a member of org.apache.spark.rdd.RDD[Tweet] ).foreachRDD(rdd=> rdd.registerAsTable("tweets")

最佳答案

RDD 不能注册为表,而数据帧可以。您可以将 RDD 转换为数据帧,然后将生成的数据帧写入临时表或表。

您可以将 RDD 转换为 Dataframe,如下所示

val sqlContext = new SQLContext(sc) 
import sqlContext.implicits._
rdd.toDF()

引用 How to convert rdd object to dataframe in sparkhttp://spark.apache.org/docs/latest/sql-programming-guide.html

关于twitter - 值 registerAsTable 不是 org.apache.spark.rdd.RDD[Tweet] 的成员,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35311229/

相关文章:

javascript - 循环不适用于间隔

java - 通过 Twitter API 发布回复时无法验证 32

javascript - Twitter 关注按钮未出现在本地主机设置中

r - 如何使用SparkR读写ElasticSearch?

iOS - 无法使用 Twitter/Fabric New SDK 上传媒体

ios - Twitter Search Api 查找单词 'apple' iOS Swift 的提及

python - 使用 Tweepy 更新了 Twitter 直接消息 API

apache-spark - 如何获得独立服务 Zeppelin 来查看 Hive?

apache-spark - 是否可以嵌入 Zeppelin Notebook 的 HTML 输出,以便在托管 Notebook 的服务器不活动时可以查看输出?

python - 关于 ssl 证书的 Tweepy SSLError