pyspark 中的单热编码，连续多个 1

Question

我有一个 Python 数据框final_df，如下所示：

行具有重复ID值。如何使用 pyspark 获得如下的单热编码输出？

我已将其转换为 spark 数据框：

spark_df = sqlContext.createDataFrame(final_df)

然后在CONCEPTS列中收集唯一值，如下所示：

types = spark_df.select("CONCEPTS").distinct().rdd.flatMap(lambda x: x).collect()

但是当我调用以下内容时：

types_expr = [F.when((F.col("CONCEPTS") == ty), 1).otherwise(0).alias(ty) for ty in types]

df = spark_df.select("ID", *types_expr)

df.show()

我得到以下信息：

与此类似的其他问题的解决方案不会为一行产生多个 1。