在一周开始日期(星期一)汇总整周。
窗口函数，我们无法在 Spark 中添加一周聚合数据的开始日为星期一。或任何解决办法。
df = spark.createDataFrame([
("001", "event1", 10, "2016-05-01 10:50:51"),
("002", "event2", 100, "2016-05-02 10:50:53"),
("001", "event3", 20, "2016-05-03 10:50:55"),
("010", "event3", 20, "2016-05-05 10:50:55"),
("001", "event1", 15, "2016-05-01 10:51:50"),
("003", "event1", 13, "2016-05-10 10:55:30"),
("001", "event2", 12, "2016-05-11 10:57:00"),
("001", "event3", 11, "2016-05-21 11:00:01"),
("002", "event2", 100, "2016-05-22 10:50:53"),
("001", "event3", 20, "2016-05-28 10:50:55"),
("001", "event1", 15, "2016-05-30 10:51:50"),
("003", "event1", 13, "2016-06-10 10:55:30"),
("001", "event2", 12, "2016-06-12 10:57:00"),
("001", "event3", 11, "2016-06-14 11:00:01")]).toDF("KEY", "Event_Type", "metric", "Time")
df2 = df.groupBy(window("Time", "7 day")).agg(sum("KEY").alias('aggregate_sum')).select("window.start", "window.end", "aggregate_sum").orderBy("window")
预期输出应该是从周一开始一周的汇总数据。然而 Spark 本身从任意一天开始 7 天的周聚合。
最佳答案
Windows 默认启动时间为 1970 年 1 月 1 日，即星期四。您可以使用
window("Time", "7 day", startTime="4 days")
将其转移到星期一。
关于apache-spark - 在一周开始日期(星期一)汇总整周，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56989232/