如何对数据集 spark 中的某些列进行笛卡尔和其他列求和？

Question

我有一个使用 java 的数据集：

+---------+-------------------+------+

|country  |      isNew        |   req|

+---------+-------------------+------+

|       vn|               true|    10|

|       vn|              false|     3|

|       mm|               true|     4|

|       mm|              fasle|     1|

+---------+-------------------+------+

我想要笛卡尔列 country 和 isNew with all and sum req。结果看起来像：

+---------+-------------------+------+

|country  |      isNew        |   req|

+---------+-------------------+------+

|      all|                all|    18|

|      all|               true|    14|

|      all|              false|     4|

|       vn|                all|    13|

|       mm|                all|     5|

|       vn|               true|    10|

|       vn|              false|     3|

|       mm|               true|     4|

|       mm|              fasle|     1|

+---------+-------------------+------+

请帮我解决这个问题。感谢大家的帮助。

Answer 1

df.cube("country", "isNew")   .agg(sum("req") as "req")   .na.fill("all")