熊猫：删除连续的重复项

Question

在熊猫中仅丢弃连续重复项的最有效方法是什么？

drop_duplicates提供以下内容：

In [3]: a = pandas.Series([1,2,2,3,2], index=[1,2,3,4,5])

In [4]: a.drop_duplicates()

Out[4]: 

1    1

2    2

4    3

dtype: int64

但是我想要这个：

In [4]: a.something()

Out[4]: 

1    1

2    2

4    3

5    2

dtype: int64

Answer 1

用途shift：a.loc[a.shift(-1) != a]Out[3]:1    13    24    35    2dtype: int64因此，以上使用布尔标准，我们将数据框与移动了-1行的数据框进行比较，以创建掩码另一种方法是使用diff：In [82]:a.loc[a.diff() != 0]Out[82]:1    12    24    35    2dtype: int64但是，如果您有很多行，这比原始方法要慢。更新资料感谢Bjarke Ebert指出了一个细微的错误，我应该实际使用shift(1)或就像shift()默认值是1一样，它返回第一个连续的值：In [87]:a.loc[a.shift() != a]Out[87]:1    12    24    35    2dtype: int64注意索引值的不同，谢谢@BjarkeEbert！

Answer 2

这是一个更新，它将使其与多个列一起使用。使用“ .any（axis = 1）”组合各列的结果：cols = ["col1","col2","col3"]de_dup = a[cols].loc[(a[cols].shift() != a[cols]).any(axis=1)]