apache-spark - 相当于 Scala Dataset#transform 方法的 Pyspark 变换方法

Question

Spark Scala API 有一个 Dataset#transform可以轻松链接自定义 DataFrame 转换的方法，如下所示:

val weirdDf = df
  .transform(myFirstCustomTransformation)
  .transform(anotherCustomTransformation)

我没有看到等效的 transform pyspark in the documentation 的方法.
是否有 PySpark 方式来链接自定义转换？
如果没有，怎么能pyspark.sql.DataFrame类被猴子修补添加一个 transform方法？
更新
变换方法是added to PySpark截至 PySpark 3.0 .

Answer 1

执行:

from pyspark.sql.dataframe import DataFrame

def transform(self, f):
    return f(self)

DataFrame.transform = transform

用法:

spark.range(1).transform(lambda df: df.selectExpr("id * 2"))