有没有办法获取DataFrame当前的分区数? 我检查了 DataFrame javadoc (spark 1.6),但没有找到相应的方法,或者我只是错过了它? (对于 JavaRDD,有一个 getNumPartitions() 方法。)
最佳答案
您需要在 DataFrame 的底层 RDD 上调用 getNumPartitions()
,例如 df.rdd.getNumPartitions()
。对于 Scala,这是一个无参数方法:df.rdd.getNumPartitions
。
关于python - 获取 DataFrame 当前的分区数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42171499/