我有一个包含两列的数据框,一列是数据,另一列是
该数据字段中的字符数。
Data Count
Hello 5
How 3
World 5
我想根据计数列中的值更改列数据的值。如何做到这一点?我用 udf 试过这个:
invalidrecords.withColumn("value",appendDelimiterError(invalidrecords("value"),invalidrecords("a_cnt")))
这似乎失败了,这是正确的做法吗?
最佳答案
这是一个简单的方法
首先你创建一个 dataframe
import sqlContext.implicits._
val invalidrecords = Seq(
("Hello", 5),
("How", 3),
("World", 5)
).toDF("Data", "Count")
你应该有
+-----+-----+
|Data |Count|
+-----+-----+
|Hello|5 |
|How |3 |
|World|5 |
+-----+-----+
然后你定义 udf 函数为
import org.apache.spark.sql.functions._
def appendDelimiterError = udf((data: String, count: Int) => "value with error" )
然后你调用
withColumn
作为invalidrecords.withColumn("value",appendDelimiterError(invalidrecords("Data"),invalidrecords("Count"))).show(false)
你应该有输出
+-----+-----+----------------+
|Data |Count|value |
+-----+-----+----------------+
|Hello|5 |value with error|
|How |3 |value with error|
|World|5 |value with error|
+-----+-----+----------------+
您可以编写逻辑而不是从
udf
返回字符串。功能已编辑
在下面的评论中回答您的要求将需要您更改 udf 函数和 withColumn 如下
def appendDelimiterError = udf((data: String, count: Int) => {
if(count < 5) s"convert value to ${data} - error"
else data
} )
invalidrecords.withColumn("Data",appendDelimiterError(invalidrecords("Data"),invalidrecords("Count"))).show(false)
你应该有输出
+----------------------------+-----+
|Data |Count|
+----------------------------+-----+
|Hello |5 |
|convert value to How - error|3 |
|World |5 |
+----------------------------+-----+
关于scala - 将两列传递给scala中的udf?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44970829/