Spark Java API中两行之间的差异

Question

我有一个Spark数据集：

+----------+-----+----+

|      Date|Value|Name|

+----------+-----+----+

|2013-02-08|14.75| AAL|

|2013-02-11|14.46| AAL|

|2013-02-12|19.27| AAL|

|2013-02-11|13.66| FIN|

|2013-02-12|16.99| FIN|

+----------+-----+----+

我想按以下方式计算后几天的差额：

+----------+-----+----+

|      Date| Diff|Name|

+----------+-----+----+

|2013-02-11| 0.29| AAL|

|2013-02-12| 4.81| AAL|

|2013-02-12| 3.33| FIN|

+----------+-----+----+

我看到它是可以实现的Scala中提到这里很容易。有没有办法用Java做到这一点？

我正在尝试类似的方法，但是对我来说真的没有意义：

WindowSpec windowSpec = Window.partitionBy("Name").orderBy("Date");

modifiedDF = modifiedDF.withColumn("Diff", df.col("Value") - when((lag("Value", 1).over(windowSpec)).isNull(), 0).otherwise(lag("Value", 1).over(windowSpec)))

        .show(false);

Java抱怨说减法运算符不能应用于“ org.apache.spark.sql.Column”类型。

但是，我确实看到了.divide()实现的方法org.apache.spark.sql.functions，因此，以下工作正常：

modifiedDF = modifiedDF.withColumn("Diff", modifiedDF.col("Value").divide(when((lag("Value", 1).over(windowSpec)).isNull(), 0).otherwise(lag("Value", 1).over(windowSpec))));

我有两个问题：

1）这是正确的方法吗？

2）如果是，为什么在.subtract中没有实现 org.apache.spark.sql.functions

Answer 1

.subtract()我一直在寻找的功能被命名为.minus()modifiedDF = modifiedDF.withColumn("Diff",                modifiedDF.col("Value")                        .minus(when((lag("Value", 1).over(windowSpec)).isNull(), 0)                                .otherwise(lag("Value", 1).over(windowSpec))));希望这对某人有帮助！