有没有办法让 Spark 在合并上创建大小相等的分区？
Stats[] stats = sparkSession
.read()
.parquet(salesPath)
.coalesce(5) // may produce partitions of 120, 1, 1, 0, 0
最佳答案
无法使用合并来获得相同大小的分区。
您应该为此使用重新分区。
查看https://spark.apache.org/docs/2.2.0/rdd-programming-guide.html#transformations
关于java - Spark 合并分区大小，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42067197/