ApacheSparkDataFrame中的级联列

Question

ApacheSparkDataFrame中的级联列

如何在ApacheSparkDataFrame中连接两列？SparkSQL中有我们可以使用的函数吗？

Answer 1

在SparkScala中连接字符串列的一个选项是：concat.有必要检查空值..因为如果其中一列为空，即使其他列中有一列有信息，结果也将为空。使用concat和withColumn:val newDf =   df.withColumn(     "NEW_COLUMN",     concat(       when(col("COL1").isNotNull, col("COL1")).otherwise(lit("null")),       when(col("COL2").isNotNull, col("COL2")).otherwise(lit("null"))))使用concat和select:val newDf = df.selectExpr("concat(nvl(COL1, ''), nvl(COL2, '')) as NEW_COLUMN")使用这两种方法，您将有一个新_Column，它的值是来自原始DF的列：col1和COL 2的连接。