scala - Spark SQL 过滤多个字段

Question

Scala API 中过滤多列的正确语法是什么？如果我想做这样的事情:

dataFrame.filter($"col01" === "something" && $"col02" === "something else")

或

dataFrame.filter($"col01" === "something" || $"col02" === "something else") 

编辑:

这就是我的原始代码的样子。一切都以字符串形式出现。

df.select($"userID" as "user", $"itemID" as "item", $"quantity" cast("int"), $"price" cast("float"), $"discount" cast ("float"), sqlf.substring($"datetime", 0, 10) as "date", $"group")
  .filter($"item" !== "" && $"group" !== "-1")

Answer 1

我想我明白问题所在了。由于某种原因，spark 不允许在同一个过滤器中使用两个 !=。需要看看Spark源码中filter是如何定义的。

现在，为了让您的代码正常工作，您可以使用它来执行过滤器

df.filter(col("item").notEqual("") && col("group").notEqual("-1"))

或在同一语句中使用两个过滤器

df.filter($"item" !== "").filter($"group" !== "-1").select(....)

此链接here可以帮助使用不同的 Spark 方法。