我想将包含 Avro 对象(例如 MyAvroClsass 的对象)的 javaRDD 转换为 java spark 中的数据框。我低于错误
Cannot have circular references in bean class, but got the circular reference of class class org.apache.avro.Schema
代码:
JavaRDD<Row> test; Dataset<Row> outputDF = sparksession.createDataFrame(test.rdd(),<MyAvroClsass>.class);
最佳答案
这与: Infinite recursion in createDataFrame for avro types
spark-avro 项目正在做一些工作来解决这个问题,请参阅:https://github.com/databricks/spark-avro/pull/217和 https://github.com/databricks/spark-avro/pull/216
合并后,应该有一个函数将 Avro 对象的 RDD 转换为 DataSet(Rows 的 DataSet 相当于 DataFrame),而生成的类中的 getSchema() 函数不会出现循环引用问题.
关于java - 不能在bean类中有循环引用,但是得到了class类org.apache.avro.Schema的循环引用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45440481/