java - 如果在 Apache Spark Java 中为空，则用另一个值替换一行的值

Question

我在 Java 中使用 Apache Spark 1.6.2。

我有一个 DataFrame 包含:

• creation_date 字段中的日期，
• close_date 字段中的结束日期。

如果商家没有关闭，那么close_date中的值为null。

我愿意:

• 向我的 DataFrame 添加一个名为 last_date_business 的额外列
• 用关闭日期的值填充它
• 如果 close_date 为 null，则使用 current_date()

我可以让 Spark 来做还是我应该手动做？

Answer 1

这里你只需要一个合并:

import static org.apache.spark.sql.functions.*;

df.withColumn("last_date_business", coalesce(col("close_date"), current_date()));