在 PySpark 中使用“窗口”函数按天分组的问题

Question

我有一个需要重新采样的数据集。为此，我需要按天对其进行分组，同时计算每个传感器的中值。我正在使用该window函数，但是它只返回一个样本。

这是数据集：

+--------+-------------+-------------------+------+------------------+

|Variable|  Sensor Name|          Timestamp| Units|             Value|

+--------+-------------+-------------------+------+------------------+

|     NO2|aq_monitor914|2018-10-07 23:15:00|ugm -3|0.9945200000000001|

|     NO2|aq_monitor914|2018-10-07 23:30:00|ugm -3|1.1449200000000002|

|     NO2|aq_monitor914|2018-10-07 23:45:00|ugm -3|           1.13176|

|     NO2|aq_monitor914|2018-10-08 00:00:00|ugm -3|            0.9212|

|     NO2|aq_monitor914|2018-10-08 00:15:00|ugm -3|           1.39872|

|     NO2|aq_monitor914|2018-10-08 00:30:00|ugm -3|           1.51528|

|     NO2|aq_monitor914|2018-10-08 00:45:00|ugm -3|           1.61116|

|     NO2|aq_monitor914|2018-10-08 01:00:00|ugm -3|           1.59612|

|     NO2|aq_monitor914|2018-10-08 01:15:00|ugm -3|           1.12612|

|     NO2|aq_monitor914|2018-10-08 01:30:00|ugm -3|           1.04528|

+--------+-------------+-------------------+------+------------------+

我需要按天重新采样，计算每一天“值”列的中位数。我正在使用以下代码来做到这一点：

magic_percentile = psf.expr('percentile_approx(Value, 0.5)') #Calculates median of the 'Value' column 

data = data.groupby('Variable','Sensor Name',window('Timestamp', "1 day")).agg(magic_percentile.alias('Value')

但是，这是问题所在，这只会返回以下 DataFrame：

+--------+-------------+--------------------+-------+

|Variable|  Sensor Name|              window|  Value|

+--------+-------------+--------------------+-------+

|     NO2|aq_monitor914|[2018-10-07 21:00...|1.13176|

+--------+-------------+--------------------+-------+

详细说明“窗口”列：

window=Row(start=datetime.datetime(2018, 10, 7, 21, 0), end=datetime.datetime(2018, 10, 8, 21, 0))

在我的理解中window，它应该为当前时间戳创建一个一天的窗口，例如： 2018-10-07 23:15:00 应该变成： 2018-10-07 并按变量、传感器名称和当天对传感器进行分组，然后计算它的中位数。我真的很困惑如何做到这一点。