整理Spark中的行

Question

我正在使用scala做一些火花测试。我们通常会读取需要像以下示例一样处理的json文件：

test.json：

{"a":1,"b":[2,3]}

val test = sqlContext.read.json("test.json")

如何将其转换为以下格式：

{"a":1,"b":2}

{"a":1,"b":3}

Answer 1

如果sqlContext.implicits._对您不起作用，请import spark.implicits._在范围内尝试。您可能还需要import org.apache.spark.sql.functions.explode

Answer 2

尝试import sqlContext.implicits._。您也可以org.apache.spark.sql.functions.col 在上使用和申请DataFrame (df("b"))。