我有一个DataFrame包含数据的Spark SQL ,我要获取的是给定日期范围内当前行之前的所有行。因此,举例来说,我想让7天之前的所有行都排在给定行的前面。我发现我需要使用一个Window Function喜欢:
Window \
.partitionBy('id') \
.orderBy('start')
问题来了。我希望有rangeBetween7天的时间,但是在Spark文档中我什么都找不到。Spark甚至提供这种选择吗?现在,我只获得前面的所有行:
.rowsBetween(-sys.maxsize, 0)
但想要达到以下目标:
.rangeBetween("7 days", 0)
如果有人可以帮助我,我将非常感激。提前致谢!
相关分类