我想要一个 Spark Sql 的 concat 函数。 我写了一个udf作为
sqlContext.udf.register("CONCAT",(args:String*)=>{
String out=""
for(arg<-args)
{
out+=arg
}
out
})
sqlContext.sql("select col1,col2,CONCAT(col1,col2) from testtable")
但是这个 udf 不工作，我得到一个异常。 如果我尝试使用固定数量的参数，那么它就可以工作。 我正在使用 spark 1.3.1 和 scala 2.10.5。
有没有人遇到过这个问题或知道解决方案？
最佳答案
您可以使用 struct 函数执行此操作，如下所示:
val myUDF = udf {
(r: Row) => r.toSeq.map(...) // the "r" row contains your arguments
}
val df = ....
df.select(col("col1"), myUDF(struct(col("col2"), col("col3"), col("col4"), ...)))
关于scala - 参数数量可变的Spark Sql udf，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32222505/