在不同类型的大型数据框中删除重复项的省时方法

Question

假设我有这个数据框：

列 1 列 2

“一”[1,2,3]

“一”[1,2,3]

'b' [4,5,6]

我想删除重复项（在本例中是前两行）。我如何以一种高效的 Python 方式完成这个任务（我的完整数据框有数百万行和 7 列）

Answer 1

你可以尝试转换为可散列的东西，然后删除inplace=True 将覆盖您的数据库df["col2"] = df["col2"].transform(lambda k: tuple(k))df.drop_duplicates(inplace=True)

Answer 2

请参阅此处删除重复信息和示例