apache-spark - PySpark RDD 的有效 bool 减少 `any` 、 `all` ?

标签 apache-spark

PySpark 支持常见的缩减,如 sum , min , count , ... 它是否支持 bool 归约,如 allany ?

我总是可以foldor_and_但这似乎效率低下。

最佳答案

这已经很晚了,但是 all上一套 booleanzmin(z) == True 相同和 anymax(z) == True 相同

关于apache-spark - PySpark RDD 的有效 bool 减少 `any` 、 `all` ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24108243/

相关文章:

dataframe - Spark Scala 中减去两个数据帧中的列以获得差异

apache-spark - Spark DAG 可视化中的绿色阴影框是什么意思?

python - 如何向 pyspark 中的行添加值?

java - Spark和MongoDB应用程序在Scala 2.10 maven构建错误

hadoop - 启动 Apache Spark 集群

apache-spark - 我们能否仅在 GKE 或私有(private)本地 k8s 上运行 Dataproc?

Scala:使用 log4j 将日志写入文件

python - 意外类型 : <class 'pyspark.sql.types.DataTypeSingleton' > when casting to Int on a ApacheSpark Dataframe

java - 使用 Spark/java 的 ST_geomfromtext 函数

scala - sparkSession.sparkContext对于本地Spark集群为null