scala - Spark创建不接受输入的UDF

Question

我想在我的 Spark 数据框中添加一个随机生成的 id 列。为此，我使用 UDF 来调用 UUID 的随机 UUID 方法，如下所示:

def getRandomId(s:String) : String = {
    UUID.randomUUID().toString()
}

val idUdf = udf(getRandomId(_:String))
val newDf = myDf.withColumn("id", idUdf($"colName"))

显然，我的 getRandomId 函数不需要输入参数；但是，我不知道如何创建一个不将列作为输入的 UDF。这在 Spark 中可能吗？

我正在使用 Spark 1.5

Answer 1

您可以在没有参数的情况下注册 udf。这里() => String将解决需求

import org.apache.spark.sql.functions.udf
val uuid = udf(() => java.util.UUID.randomUUID().toString)

在 DataFrame 上使用 UDF( uuid )

val newDf = myDf.withColumn("uuid", uuid())