如何在循环中生成 Spark 数据集聚合长实验程序？

Question

我正在使用Java Spark来统计数据集。

我需要通过许多exper聚合数据集，因此代码又长又难看。expers有一些共同的逻辑，我可以用循环生成exper吗？下面是代码示例，实际代码有数百行重复代码：

Dataset<Row> res = ds.groupBy(ds.col("uid")).agg(functions.max(ds.col("create_time")).as("create_time"),functions.sum(functions.when(ds.col("date_diff").$less$eq(30).and(ds.col("call_type").isin(callTypeOut)),

                    ds.col("duration"))).as("caller_call_time_1"),

                          functions.sum(functions.when(ds.col("date_diff").$less$eq(60)

                            .and(ds.col("call_type").isin(callTypeOut)),

                    ds.col("duration"))).as("caller_call_time_2"),

            functions.sum(functions.when(ds.col("date_diff").$less$eq(90)

                            .and(ds.col("call_type").isin(callTypeOut)),

                    ds.col("duration"))).as("caller_call_time_3"),

            functions.sum(functions.when(ds.col("date_diff").$less$eq(120)

                            .and(ds.col("call_type").isin(callTypeOut)),

                    ds.col("duration"))).as("caller_call_time_4"),

            functions.sum(functions.when(ds.col("date_diff").$less$eq(150)

                            .and(ds.col("call_type").isin(callTypeOut)),

                    ds.col("duration"))).as("caller_call_time_5"),

            functions.sum(functions.when(ds.col("date_diff").$less$eq(180)

                            .and(ds.col("call_type").isin(callTypeOut)),

                    ds.col("duration"))).as("caller_call_time_6"))

我得到了这样的解决方案：

List<Column> exprs = new ArrayList<>();

for (int i = 1; i < 7; i ++ ) {

    exprs.add(functions.sum(functions.when(ds.col("date_diff").$less$eq(30*i)

                        .and(ds.col("call_type").isin(callTypeOut)),

                ds.col("duration"))).as("caller_call_time_"+Integer.toString(i));

}

Dataset<Row> res = ds.groupBy(ds.col("uid")).agg(functions.max(ds.col("create_time")).as("create_time"),

exprs.toArray(new Column[exprs.size()]));

Answer 1

您可以：创建一个数据帧（数据集是一个数据帧，与任何其他列的数据集相对），其中包含所有其他列，然后对新创建的列执行聚合。您可以在循环中创建列。构建一个 UDAF（用户定义的聚合函数），该函数将在 Java 中处理您的自定义代码。希望它有帮助...