通过其他键将列添加到具有非唯一 ID 的 pyspark 数据框

Question

为标题道歉 - 不知道如何轻松总结我的问题。

我有一个包含 2 列、代码和 emp 的 pyspark 数据框。每个唯一的代码值都有多个 emp 值，如下所示。我希望添加一个列，为每个唯一的代码值应用一个递增的数字，例如下面的值列。我玩过monotonicallyIncreasingId()，并没有设法将其 id 创建限制为一个特定的代码键，实际上文档说索引不需要按顺序递增。

+----+---+-----+

|code|emp|value|

+----+---+-----+

|   a| 14|    1|

|   a| 22|    2|

|   a| 35|    3|

|   a| 64|    4|

|   b| 12|    1|

...

+----+---+-----+

如果这对效率有任何影响，则每个代码值最多有 4 个 emp 值。索引应随着 emp 值的大小而增加 - 最低值应为 1，最高值为 n，其中 n 是具有特定代码的记录数。

Answer 1

对于 Scala，您可以创建一个带有增量索引列的数据框，如下所示：%scalaval rankedWordCount = sqlContext.sql("select row_number() over (order by some_numeric_value desc) as index_col,lower(info) as info, some_numeric_value from information_table")