Spark Java 重新分区

Question

Java spark2

这两个语句有什么区别-

Dataset<Row> Data; 

Data.repartition(new Column("key" )) ; 

and 

Data.repartition(Data.col("key" ) ;

Answer 1

正在做Data.repartition(new Column("key"));相当于import static org.apache.spark.sql.functions.col; Data.repartition(col("key"));在这些情况下，该列不直接与数据集相关联，Spark 需要在分析阶段解析它。如果你改用Data.repartition(Data.col("key");您正在向 Spark 发出指令，该指令是该列所属的数据集。此方法主要用于连接，例如，您可以拥有两个具有公共列名的数据集。在您的示例中，结果是等效的，您可以使用两种形式。