Python pandas：如何根据id列有效地获取数据框的多个子集

Question

我有一个这样的数据框：

df = pd.DataFrame({'id': [1, 1, 1, 2, 2], 'C1': ['1A', '1B', '1C', '2A', '2B'], 'C2': [100, 200, 300, 400, 500]})

print(df)

   id  C1   C2

0   1  1A  100

1   1  1B  200

2   1  1C  300

3   2  2A  400

4   2  2B  500

从这个数据框中，如何为 'id' 的每个值获取多个子集，就像这样？

   id  C1   C2

0   1  1A  100

   id  C1   C2

0   1  1A  100

1   1  1B  200

   id  C1   C2

0   1  1A  100

1   1  1B  200

2   1  1C  300

   id  C1   C2

0   2  2A  400

   id  C1   C2

0   2  2A  400

1   2  2B  500

我可以像下面这样写一个 for 循环。

for id in df['id'].unique().tolist():

    df1 = df[df['id'] == id]

    for i in range(len(df1) + 1):

        df1 = df1.head(i)

有没有一种有效的方法可以做到这一点，因为我拥有的数据框在“id”列中有数千个值。

我尝试使用 df.apply，但它一次仅适用于 1 行（轴 = 1）。

我的最终目标是得到如下所示的数据框（其中 C2 是子集数据框的 C2 列中值的总和）。

    id  1A  1B  1C  2A  2B  C2

0    1   1   0   0   0   0  100

0    1   1   1   0   0   0  300

0    1   1   1   1   0   0  600

1    2   0   0   0   1   0  400

1    2   0   0   0   1   1  900

如果我采用 for 循环方法，我可以在内部 for 循环中获得的子集数据帧上执行分组“id”、求和“C2”列和交叉表。然后我可以最终 pd.concat 所有子集交叉表结果。但我不知道如何更有效地做到这一点。请建议。

Answer 1

通常，不需要自己创建所有这些子集，因为您可以进行“累积”计算来完成所需的操作。C2 是每个“ID”内的累加和( )的结果cumsum。pd.get_dummies您的虚拟列是每个组组内的累积最大值( )的结果cummax（归功于@Ben.T）。加入计算以concat获得结果并使用groupby+ngroup标记所需索引的每个 ID。# Dummies for C1df1 = pd.get_dummies(df.C1)df1 = df1.groupby(df['id']).cummax()# Join, ID from df, dummies from df1 and cumsumdf1 = pd.concat([df['id'], df1, df.groupby('id')['C2'].cumsum()], axis=1)# Create your index, breaks alignment of df and df1 from this point on     df1.index = df1.groupby(df['id'], sort=False).ngroup()print(df1)   id  1A  1B  1C  2A  2B   C20   1   1   0   0   0   0  1000   1   1   1   0   0   0  3000   1   1   1   1   0   0  6001   2   0   0   0   1   0  4001   2   0   0   0   1   1  900