scala - 如果值包含在 scala spark 的列表中,如何过滤行?

标签 scala apache-spark

例如,我想使用列表过滤 spark 数据框

var lisst=List(1,2,34)
df.filter(col("id).isin(lisst))

报错

Unsupported literal type classscala.collection.immutable.$colon$colon 
List(1,2,34)

我尝试使用 SeqSet 并得到同样的错误。

最佳答案

你可以使用isin函数如下

var lisst=List(1,2,34)
 df.filter(col("id").isin(lisst :_*))

希望这对您有所帮助!

关于scala - 如果值包含在 scala spark 的列表中,如何过滤行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49518771/

相关文章:

scala - org.apache.spark.SparkException : Task not serializable

python - 如何在 pyspark shell 中使用粘贴模式?

java - Spark 展平数据集映射列

scala - 运行 sbt 测试时忽略 log4j.properties

mysql - 无法使用 Play for Scala 和 Anorm 从表单中插入值

scala - 带有 curry 功能的奇怪东西

scala - 登录 Akka 时如何缩写 ActorRef 的路径?

scala - 如何对 apache spark scala 中的多列数据进行排序?

mysql - C* 迁移——将 1B+ 行表数据移动到新的模式表

scala - Spark : understanding the DAG and forcing transformations