python - 获取 DataFrame 当前的分区数

标签 python scala dataframe apache-spark apache-spark-sql

有没有办法获取DataFrame当前的分区数? 我检查了 DataFrame javadoc (spark 1.6),但没有找到相应的方法,或者我只是错过了它? (对于 JavaRDD,有一个 getNumPartitions() 方法。)

最佳答案

您需要在 DataFrame 的底层 RDD 上调用 getNumPartitions(),例如 df.rdd.getNumPartitions()。对于 Scala,这是一个无参数方法:df.rdd.getNumPartitions

关于python - 获取 DataFrame 当前的分区数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42171499/

相关文章:

python - Python 当前用户的环境变量

python - 将1D字节对象 reshape 为3D numpy数组

Scala 前置于 ListBuffer 益智游戏

scala - Gatling Gradle Build将Scala Simulations和Config文件添加为Fatjar

python - 将多个列表写入 CSV 中单个单元格中的不同列

python - 使用多个条件操作 pandas.DataFrame

python - 谷歌金融代码抛出错误

python - 如何将列表字典写入字符串而不是 CSV 文件?

scala - 如何使用 Scala sttp FetchBackend 处理 html 中的 JavaScript?

python - 防止 Imputer 丢失值