在使用Pandas的过程增删改查是频繁使用的操作，这一节主要就是展示DataFrame常用的增加和删除操作
增加行和增加列
# 增加一列，我们可以有两种方式，如下：In [345]: df Out[345]: one two a 0 1 b 4 5 c 8 9 d 12 13 In [346]: df['three'] = [3, 5, 5, 7] In [347]: df Out[347]: one two three a 0 1 3 b 4 5 5 c 8 9 5 d 12 13 7# 或者使用locIn [369]: df Out[369]: one two three a 0 1 2 b 4 5 6 c 8 9 10 d 12 13 14 In [370]: df.loc[:, "four"] = [1, 4, 5, 9] In [371]: df Out[371]: one two three four a 0 1 2 1 b 4 5 6 4 c 8 9 10 5 d 12 13 14 9
需要注意的是使用如上两种方式增加一列的时候，其数组的长度必须与原有DataFrame的行数相同，否则会报如下错误
ValueError: Length of values does not match length of index
增加行同样我们也可以使用loc, 如下:
In [376]: df Out[376]: one two three four a 0 1 2 3 b 4 5 6 7 c 8 9 10 11 d 12 13 14 15 In [377]: df.loc['e'] = [3, 7, 8, 9] In [378]: df Out[378]: one two three four a 0 1 2 3 b 4 5 6 7 c 8 9 10 11 d 12 13 14 15 e 3 7 8 9
但很多时候，我们并不需要row index, 只想自动增加一行，那么可以通过如下的方式
In [379]: df.loc[df.shape[0]+1] = [3, 5, 9, 9] In [380]: df Out[380]: one two three four a 0 1 2 3 b 4 5 6 7 c 8 9 10 11 d 12 13 14 15 e 3 7 8 9 6 3 5 9 9
另外，我们还可以将数据转化为Series，然后利用concat或者append的方式将其与原有的DataFrame进行合并。这种方式不仅可以添加一行数据，也可以一次性添加多行数据。
In [392]: df = pd.DataFrame(np.arange(16).reshape((4,4)), index=[1, 2, 3, 4], columns=['a', ...: 'b', 'c','d']) In [393]: df2 = pd.DataFrame(np.arange(16).reshape((4,4)), index=[5, 6, 7, 8], columns=['a' ...: , 'b', 'c','d'])# 这里相当于添加了多行数据In [394]: pd.concat([df, df2]) Out[394]: a b c d 1 0 1 2 3 2 4 5 6 7 3 8 9 10 11 4 12 13 14 15 5 0 1 2 3 6 4 5 6 7 7 8 9 10 11 8 12 13 14 15
更多关于concat和append将在后续的章节详细讲解。
删除行和删除列
In [751]: df Out[751]: age color food height score state Jane 30 blue Steak 178 4.6 NY Nick 2 green Lamb 181 8.3 TX Aaron 12 red Mango 178 9.0 FL Penelope 4 white Apple 178 3.3 AL Dean 32 gray Cheese 175 1.8 AK Christina 33 black Melon 178 9.5 TX Cornelia 69 red Beans 178 2.2 TX# 使用drop删除index为'Dean'的行In [752]: df.drop(['Dean']) Out[752]: age color food height score state Jane 30 blue Steak 178 4.6 NY Nick 2 green Lamb 181 8.3 TX Aaron 12 red Mango 178 9.0 FL Penelope 4 white Apple 178 3.3 AL Christina 33 black Melon 178 9.5 TX Cornelia 69 red Beans 178 2.2 TX In [749]: df Out[749]: age color food height score state Jane 30 blue Steak 178 4.6 NY Nick 2 green Lamb 181 8.3 TX Aaron 12 red Mango 178 9.0 FL Penelope 4 white Apple 178 3.3 AL Dean 32 gray Cheese 175 1.8 AK Christina 33 black Melon 178 9.5 TX Cornelia 69 red Beans 178 2.2 TX# 使用drop删除名为'height'的列，注意需要使用axis=1# 使用inplace来空值是在同一块内存还是copyIn [750]: df.drop(['height'], axis=1, inplace=True) Out[750]: age color food score state Jane 30 blue Steak 4.6 NY Nick 2 green Lamb 8.3 TX Aaron 12 red Mango 9.0 FL Penelope 4 white Apple 3.3 AL Dean 32 gray Cheese 1.8 AK Christina 33 black Melon 9.5 TX Cornelia 69 red Beans 2.2 TX# drop多列df.drop(['height', 'food'], axis=1, inplace=True)
条件删除
由于在数据清洗的过程中经常需要删除不符合条件的record，所以以下这种条件过滤行就非常有用。需要注意的是，这里是重新生成了一个DataFrame，而不是直接在原有的DataFrame上修改
In [755]: df2 = df[df.color!='blue'] In [756]: df2 Out[756]: age color food height score state Nick 2 green Lamb 181 8.3 TX Aaron 12 red Mango 178 9.0 FL Penelope 4 white Apple 178 3.3 AL Dean 32 gray Cheese 175 1.8 AK Christina 33 black Melon 178 9.5 TX Cornelia 69 red Beans 178 2.2 TX
去重
使用drop_duplicates，我们可以去掉重复项，这是一个非常有用的函数，下面我们来详细分析下
通过参数subset,指定去重比较时用哪些column。如果不指定则所有的数据都会比较，只有所有列的数据都一致的时候才会去掉，否则不会去掉，如下：
In [459]: df_con2 Out[459]: uid num1 num20 a1 1 4.01 a2 3 5.02 b1 5 7.00 a1 2 4.01 a2 5 NaN2 a3 2 2.0In [460]: df_drop = df_con2.drop_duplicates() In [461]: df_drop Out[461]: uid num1 num20 a1 1 4.01 a2 3 5.02 b1 5 7.00 a1 2 4.01 a2 5 NaN2 a3 2 2.0
我们可以让两个dataframe只比较uid列，只要这一列的数据重复，我们就认为重复，如下：
In [462]: df_drop2 = df_con2.drop_duplicates(subset='uid') In [463]: df_drop2 Out[463]: uid num1 num2 0 a1 1 4.0 1 a2 3 5.0 2 b1 5 7.0 2 a3 2 2.0
另外从上边的例子可以看出，其去重是去掉了后边出现的重复的项，我们也可以保留后边的项，将前边的项去掉，那么就需要使用keep参数。另外，我们也可以直接在DataFrame中进行去重，而不需要再另外copy一份数据，这可以通过
inplace=True来实现，示例如下：
In [453]: df_con Out[453]: uid num1 num20 a1 1 4.01 a2 3 5.02 b1 5 7.00 a1 2 4.01 a2 5 NaN2 a3 2 2.0# 注意这里没有赋值操作，因为使用了inplace=True# 使用keep='last'用于保存后边的数据，删除前边的重复项In [454]: df_con.drop_duplicates(subset='uid', keep='last', inplace=True) In [455]: df_con Out[455]: uid num1 num22 b1 5 7.00 a1 2 4.01 a2 5 NaN2 a3 2 2.0
作者：geekpy
链接：https://www.jianshu.com/p/cb50d47e8130
随时随地看视频
