java - Spark : rewrite . 过滤器 ("count > 1") 没有字符串表达式

标签 java apache-spark dataframe apache-spark-sql

Java中有一段代码:

Dataset<Row> dataset = ...
...
dataset.groupBy("id").count().filter("count > 1");

有没有办法设置"count > 1"使用一些数据框方法的条件,例如 filter(count().gt(1))

最佳答案

函数“col”有比较方法,可以使用它们:

import static org.apache.spark.sql.functions.*;
ds.filter(col("count").$greater(lit(1)))

关于java - Spark : rewrite . 过滤器 ("count > 1") 没有字符串表达式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56182160/

相关文章:

在 SparkR 中运行关联 : no method for coercing this S4 class to a vector

python - 识别具有相同值的下一行并创建新列 pandas 数据框

dataframe - 可在 Julia 的多个列中进行透视

java - 如何将 XML 文档作为参数传递给 java (oracle xdk) 中的 XSL 转换?

java - 如果有除零以外的值,如何输入新字符串

java - Spring Boot @ExceptionHandler 隐藏异常名称

python - 使用类型为 "object"的 numpy 数组创建混合类型的 Pandas Dataframe

java - SDN4 - 无法从存储库中 orderBy 对象

python-2.7 - pyspark 中的 RDD 到 DataFrame(来自 rdd 的第一个元素的列)

apache-spark - Spark 如何驱逐缓存分区?