也许这个问题看起来有点抽象,在这里是:
val originalAvroSchema : Schema = // read from a file
val rdd : RDD[GenericData.Record] = // From some streaming source
// Looking for a handy:
val df: DataFrame = rdd.toDF(schema)
我探索了
spark-avro
,但它仅支持从文件读取,而不支持从现有的RDD
读取。
最佳答案
import com.databricks.spark.avro._
val sqlContext = new SQLContext(sc)
val rdd : RDD[MyAvroRecord] = ...
val df = rdd.toAvroDF(sqlContext)
关于scala - 如何将Avro的GenericData.Record的RDD转换为DataFrame?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36291772/