如何在写入 Java 中的镶木地板之前为 DataSet 列添加别名

Question

我在 java 中使用 apache spark，我想做的是过滤一些数据，按特定键对其进行分组，然后计算每个键的元素数量。目前我正在这样做：

Dataset<MyBean> rawEvents = readData(spark);

        Dataset<MyBean> filtered = rawEvents.filter((FilterFunction<MyBean>) events ->

                //filter function  

            ));

KeyValueGroupedDataset<String, MyBean> grouped = filtered

                .groupByKey((MapFunction<MyBean, String>) event -> {

                   return event.getKey();

                }, Encoders.STRING());

grouped.count().write().parquet("output.parquet");

它无法写入，因为：org.apache.spark.sql.AnalysisException: Attribute name "count(1)" contains invalid character(s) among " ,;{}()\n\t=". Please use alias to rename it.;

我怎样才能为计数列起别名，以免发生这种情况？

Answer 1

grouped.count()Dataset<Tuple2<String, Object>在你的情况下返回 a 。本质上，重命名Dataset对象中的列将解决您的问题。您可以使用DatasetwithColumnRenamed&nbsp;API的方法。grouped.count().withColumnRenamed("count(1)",&nbsp;"counts").write().parquet("output.parquet")

Answer 2

grouped.count()选择所有列并添加to count 列后alias，使用 write 方法。例子：import static org.apache.spark.sql.functions.col;import org.apache.spark.sql.Column;Column[] colList =&nbsp; { col("column1"), col("column2"), col("count(1)").alias("count") };grouped.count().select(colList).write.parquet("output.parquet");