Scala Spark RDD 当前分区数

标签 scala apache-spark

你如何确定 Scala 中任意 RDD 的分区数?

我知道 PySpark RDD 在其 API 中定义了 getNumPartitions,但我无法在 Scala 端找到等效项。

最佳答案

至少在 Spark 1.6.1 中这是有效的

rdd.getNumPartitions()

关于Scala Spark RDD 当前分区数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31224282/

相关文章:

python - Pyspark:无法将文件写入 Azure Blob 存储

java - RDD 到 JavaRDD 转换的性能影响

apache-spark - Spark :2. 0.2 java.util.ConcurrentModificationException:KafkaConsumer 对于多线程访问不安全

scala - 在Spark群集上运行Drools-在org.kie.internal.builder.KnowledgeBuilderFactory.newKnowledgeBuilder处获取空指针

java - 找不到类型[简单类型,类定义]的合适构造函数

scala - 加密字符串时生成数字

python - PySpark 根据名称将列表分解为多列

scala - 左反加入Spark?

scala - 使用默认值初始化时未绑定(bind)的占位符参数

scala - 如何在scala中实现类型安全域存储库?