scala - Spark /SQL :spark can't resolve symbol toDF

标签 scala apache-spark

在我的项目中,我的外部库是 spark-assemble-1.3.1-hadoop2.6.0,如果我按“.”,IDE 会通知我 toDF(),但它告诉我,当我编码时无法解析符号 toDF() 。很抱歉,我在 Apache 中找不到 toDF() Spark 文档。

case class Feature(name:String, value:Double, time:String, period:String)
val RESRDD = RDD.map(tuple => {
    var bson=new BasicBSONObject();
    bson.put("name",name);
    bson.put("value",value);
    (null,bson);
})

RESRDD
 .map(_._2)
 .map(f => Feature(f.get("name").toString, f.get("value").toString.toDouble))
 .toDF()

最佳答案

为了能够使用toDF,您必须先导入sqlContext.implicits:

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._

case class Foobar(foo: String, bar: Integer)

val foobarRdd = sc.parallelize(("foo", 1) :: ("bar", 2) :: ("baz", -1) :: Nil).
    map { case (foo, bar) => Foobar(foo, bar) } 

val foobarDf = foobarRdd.toDF
foobarDf.limit(1).show

关于scala - Spark /SQL :spark can't resolve symbol toDF,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31143840/

相关文章:

scala - 处理 Spark 中的模式不匹配

python - Dataframe Spark 2.2.1 上的可调用列对象

apache-spark - Spark 流 : Reading data from kafka that has multiple schema

scala - 电梯的 ORM : Mapper or JPA?

python - 从 Spark RDD 中移除元素

java - Spark DataFrame.flatMap 在java中的使用

java - Spark 因 org.apache.kafka.common.serialization.StringDeserializer 失败并出现 NoClassDefFoundError

scala - 并发概述

scala - Spark (Scala) 中的 K-means - 当模型由标准化数据制成时如何将集群编号映射回客户 ID

scala - scala中的 '_='是什么?