Spark SQL 1.2.0 查询返回 JavaRDD。 Spark SQL 1.3.0 查询返回 DataFrame。通过 DataFrame.toJavaRDD 将 DataFrame 转换为 JavaRDD 似乎需要相当多的时间。我尝试使用 DataFrame.map() 并遇到一个令人费解的问题:
DataFrame df = sqlSC.sql(sql);
RDD<String> rdd = df.map(new AbstractFunction1<Row, String> (){
@Override
public String apply(Row t1) {
return t1.getString(0);
}
}, ?);
“?”应该是 scala.reflect.ClassTag。我使用了 ClassManifestFactory.fromClass(String.class) 但它没有用。我应该把什么放在“?”。
顺便说一下,http://spark.apache.org/docs/1.3.0/sql-programming-guide.html 给出的例子的 与 RDD 互操作 部分 Java 代码未更正:它使用了“map(new Function() {”。那里的“Function”是 Not Acceptable 。它应该是“Function1”。
最佳答案
尝试这个:
RDD<String> rdd = df.map(new AbstractFunction1<Row, String> (){
@Override
public String apply(Row t1) {
return t1.getString(0);
}
}, scala.reflect.ClassManifestFactory.fromClass(String.class));
关于sql - 如何为 Spark SQL DataFrame 映射构造 ClassTag?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29068864/