嗨,有一个关于使用 MultipleTextOutputFormat 在一个 Spark 作业中将文本数据写入多个输出目录的主题
Write to multiple outputs by key Spark - one Spark job
我会问是否有一些类似的方法可以将 avro 数据写入多个目录
我想要的是将avro文件中的数据写入不同的目录(基于时间戳字段,时间戳中的同一天进入同一目录)
最佳答案
AvroMultipleOutputs类简化了将 Avro 输出数据写入多个输出的过程。
AvroMultipleOutputs
支持计数器,默认情况下它们是禁用的。计数器组是 AvroMultipleOutputs
类(class)名称。计数器的名称与输出名称相同。这些计算写入每个输出名称的记录数。也看看
关于apache-spark - 如何使用spark将avro写入多个输出目录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40798008/