我有一个包含可以包含整数值的数组类型列的数据框。如果没有值,它将只包含一个值,它将是空值
重要 :注意该列不会为空,而是具有单个值的数组;空值
> val df: DataFrame = Seq(("foo", Seq(Some(2), Some(3))), ("bar", Seq(None))).toDF("k", "v")
df: org.apache.spark.sql.DataFrame = [k: string, v: array<int>]
> df.show()
+---+------+
| k| v|
+---+------+
|foo|[2, 3]|
|bar|[null]|
问题 :我想获取具有空值的行。到目前为止我尝试过的:
> df.filter(array_contains(df("v"), 2)).show()
+---+------+
| k| v|
+---+------+
|foo|[2, 3]|
+---+------+
对于 null,它似乎不起作用> df.filter(array_contains(df("v"), null)).show()
org.apache.spark.sql.AnalysisException: cannot resolve 'array_contains(
v
, NULL)' due to data type mismatch: Null typed values cannot be used as arguments;
或者
> df.filter(array_contains(df("v"), None)).show()
java.lang.RuntimeException: Unsupported literal type class scala.None$ None
最佳答案
无法使用 array_contains
在这种情况下,因为 SQL NULL
不能平等比较。
您可以使用 udf
像这样:
val contains_null = udf((xs: Seq[Integer]) => xs.contains(null))
df.where(contains_null($"v")).show
// +---+------+
// | k| v|
// +---+------+
// |bar|[null]|
关于scala - 检查 arraytype 列是否包含 null,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44307744/