如何使用 to_json 和 from_json 消除 pyspark 数据帧中的嵌套结构字段？

Question

从理论上讲，这个解决方案非常适合我的需要，即创建数据帧的新复制版本，同时排除某些嵌套的结构字段。这是我的问题的最低限度可重现的工件：

>>> df.printSchema()

root

| -- big: array(nullable=true)

| | -- element: struct(containsNull=true)

| | | -- keep: string(nullable=true)

| | | -- delete: string(nullable=true)

您可以像这样实例化它：

schema = StructType([StructField("big", ArrayType(StructType([

    StructField("keep", StringType()),

    StructField("delete", StringType())

])))])

df = spark.createDataFrame(spark.sparkContext.emptyRDD(), schema)

我的目标是将数据框（以及我要保留的列中的值）转换为排除某些嵌套结构的数据框，delete例如。

root

| -- big: array(nullable=true)

| | -- element: struct(containsNull=true)

| | | -- keep: string(nullable=true)

根据我链接的尝试利用 pyspark.sqlto_json和from_json函数的解决方案，它应该可以通过以下方式完成：

new_schema = StructType([StructField("big", ArrayType(StructType([

             StructField("keep", StringType())

])))])

test_df = df.withColumn("big", to_json(col("big"))).withColumn("big", from_json(col("big"), new_schema))

>>> test_df.printSchema()

root

| -- big: struct(nullable=true)

| | -- big: array(nullable=true)

| | | -- element: struct(containsNull=true)

| | | | -- keep: string(nullable=true)

>>> test_df.show()

+----+

| big|

+----+

|null|

+----+

所以要么我没有正确地遵循他的指示，要么它不起作用。没有 udf 怎么办？

Answer 1

它应该可以工作，您只需要调整 new_schema 以仅包含“大”列的元数据，而不是数据框：new_schema = ArrayType(StructType([StructField("keep", StringType())]))test_df = df.withColumn("big", from_json(to_json("big"), new_schema))