如何从 python 中的 Spark 数据帧访问特定列？

Question

我的数据框看起来像这样

------+-------+                                                                

|cat_id|counter|

+------+-------+

|    12|  61060|

|     1| 542118|

|    13| 164700|

|     3| 406622|

|     5|  54902|

|    10| 118281|

|    11|  13658|

|    14|  72229|

|     2| 131206|

+------+-------+

获取上述数据框的查询是：

 grouped_data = dataframe.groupBy("cat_id").agg(count("*").alias("counter"))

现在我需要读取不同 cat_id 的值以将其保存在另一个数据库中。

我完成它的方法是在我的 id 上使用 for 循环

for cat_id in cat_ids_map:

     statsCount = grouped_data.select("counter").filter("cat_id = " + cat_id).collect()[0].counter

但我认为可以有更好的方法来读取计数器而无需 for 循环。任何的意见都将会有帮助！！！

Answer 1

如果要遍历整个数据框，通常使用.foreach函数。所以你会这样做：grouped_data.foreach(lambda x: f(x))其中f是您的函数，它将对数据框中的每个元素执行您想要的任何操作