使用Spark Java API进行数据集操作？

Question

我是Spark Java API的新手。我有一个像这样的数据集：Ds1

|  account|    Lib     |  amount1 |  amount2   |

+---------+------------+----------+-------------

| 222222  |            |          |            |

| 333333  |            |          |            |

| 888888  |            |          |            |

| 888888  | 

我想获取此数据集：Ds2

|  account|    Lib     |  amount1 |  amount2   |

+---------+------------+----------+-------------

| 222222  |            |          |            |

| 333333  |            |          |            |

| 888888  |            |          |            |

有人可以用Spark Java API的简单表达式来指导我。提前致谢。

Answer 1

请在ds1数据集的顶部使用dropduplicates方法

Answer 2

数据集yourDS2 = yourDS1.dropDuplicates（）;或者数据集yourDS2 = yourDS1.dropDuplicates（“ account”）;