使用 Java 实现要在 RelationalGroupedDataset.agg()

Question

似乎您可以像这样聚合多个列：

Dataset<Row> df = spark.read().textFile(inputFile);

List<Row> result = df.groupBy("id")

  .agg(sum(df.col("price")), avg(df.col("weight")))

  .collectAsList();

现在，我想编写自己的自定义聚合函数而不是sumor avg。我怎样才能做到这一点？

在星火文档演示了如何创建一个自定义聚合功能。但是那个注册了然后在SQL中使用，我不认为它是否可以在.agg()函数中使用。由于agg接受Column实例并且自定义聚合函数不是其中之一。

Answer 1

如果您有一个GeometricMean扩展类UserDefinedAggregationFunction，那么您可以像这样使用它（取自https://docs.databricks.com/spark/latest/spark-sql/udaf-scala.html）：// Create an instance of UDAF GeometricMean.val gm = new GeometricMean// Show the geometric mean of values of column "id".df.groupBy("group_id").agg(gm(col("id")).as("GeometricMean")).show()应该很容易将其转换为 Java