apache-spark - 订购 Pyspark 窗口时缺少数据

Question

这是我当前的数据集:

from pyspark.sql import Window
import pyspark.sql.functions as psf

df = spark.createDataFrame([("2","1",1),
                            ("3","2",2)],
                     schema = StructType([StructField("Data",  StringType()),
                                          StructField("Source",StringType()),
                                          StructField("Date",  IntegerType())]))


display(df.withColumn("Result",psf.collect_set("Data").over(Window.partitionBy("Source").orderBy("Date"))))

输出:

<表类="s-表"> <头> 数据 来源 <日>日期 结果 <正文> 2 1 1 ["2"] 3 1 2 ["2","3"]

为什么在 ordered 的 Window 上使用 collect_set 函数时，Result 列的第一行中缺少值 3？

我也尝试过使用 collect_list，但得到的结果相同。

我想要的输出是:

<表类="s-表"> <头> 数据 来源 <日>日期 结果 <正文> 2 1 1 ["2","3"] 3 1 2 ["2","3"]

保留 Result 中值的顺序 - 第一个是 Date = 1，第二个是 Date = 2

Answer 1

您需要使用带有 unboundedPreceding 和 Window.unboundedFollowing 的窗口:

Window.partitionBy("Source").orderBy("Date") \
  .rowsBetween(Window.unboundedPreceding, Window.unboundedFollowing)

当您有 orderBy

时，默认情况下 Spark 使用 rowsBetween(Window.unboundedPreceding, Window.currentRow)