python-3.x - 仅在值不为空或不是空字符串的行上应用 UDF 未按预期工作

Question

仅当值不为空或不是空字符串时，应用 UDF 的最佳(最快)方法是什么。
我添加了一个简单的例子。

df = spark.createDataFrame(
    [["John Jones"], ["Tracey Smith"], [None], ["Amy Sanders"], [""]]
).toDF("Name")


def upperCase(str):
    return str.upper()


upperCaseUDF = udf(lambda z: upperCase(z), StringType())

df.withColumn(
    "Cureated Name",
    F.when(
        ((F.col("Name").isNotNull()) | (F.trim(F.col("name")) != "")),
        upperCaseUDF(F.col("Name")),
    ),
)

AttributeError: 'NoneType' object has no attribute 'upper'. 

我不认为 when 子句工作正常(或者至少不像我期望的那样)。
我收到 Null 值错误。
我希望 UDF 不会在 Null 值上执行。
这不是关于解决 Null 值，而是为什么 when 子句不像我期望的那样工作!

Answer 1

我建议您考虑将您的 UDF 应用于整个数据帧并因此调整代码:

@F.udf
def upperCase(in_string):
    return in_string.upper() if in_string else in_string


df.withColumn(
    "Created_Name",
    upperCase(F.col("Name")),
).show()

+------------+------------+
|        Name|Created_Name|
+------------+------------+
|  John Jones|  JOHN JONES|
|Tracey Smith|TRACEY SMITH|
|        null|        null|
| Amy Sanders| AMY SANDERS|
|            |            |
+------------+------------+

备注 :如果您过滤掉坏行，您的 UDF 就可以工作:

df.where(F.col("Name").isNotNull()).select(upperCaseUDF(F.col("Name"))).show()
+--------------+                                                                
|<lambda>(Name)|
+--------------+
|    JOHN JONES|
|  TRACEY SMITH|
|   AMY SANDERS|
|              |
+--------------+