如何添加复制某些列的新行，但在其他列中分配新值

Question

我有一个看起来像这样的数据框：

df = pd.DataFrame({'VisitorID': [1000, 1000, 1000, 1000, 1000, 1000, 1000, 1000],

                   'EpochTime': [1554888560, 1554888560, 1554888560, 1554888560, 1554888560, 1521333510, 1521333510, 1521333510],

                   'HitTime': [1400, 5340, 7034, 11034, 13059, 990, 4149, 6450],

                   'HitNumber':[23, 54, 55, 65, 110, 14, 29, 54],

                   'PagePath':['orders/details', 'orders/payment', 'orders/afterpayment', 'orders/myorders', 'customercare', 'orders/details', 'orders/payment', 'orders/myorders']})

print(df)

   VisitorID   EpochTime  HitTime  HitNumber             PagePath

0       1000  1554888560     1400         23       orders/details

1       1000  1554888560     5340         54       orders/payment

2       1000  1554888560     7034         55  orders/afterpayment

3       1000  1554888560    11034         65      orders/myorders

4       1000  1554888560    13059        110         customercare

5       1000  1521333510      990         14       orders/details

6       1000  1521333510     4149         29       orders/payment

7       1000  1521333510     6450         54      orders/myorders

实际上，我的数据框是 +- 1000 万行。并且有两倍的列。数据由显示客户行为的网站数据组成。

我想要做什么
为了分析客户在到达被跟踪的第一页之前在网站上的时间，我想在每个组上方添加一行，从列中复制顶行的值：

• 访客编号

• 大纪元

但为列提供新值：

• 命中时间 = 0

• 命中数 = 0

• 页面路径 = Home

信息：VisitorID+的组合EpochTime使一个组独一无二。

我使用以下代码实现了这一点，但运行需要 +- 5 分钟，我认为应该有更快的方法：

lst = []

for x, y in df.groupby(['VisitorID', 'EpochTime']):

    lst.append(y.iloc[:1])

df_first = pd.concat(lst, ignore_index=True)

df_first['HitTime'] = 0.0

df_first['HitNumber'] = 0.0

df_first['PagePath'] = 'Home'

print(df_first)

   VisitorID   EpochTime  HitTime  HitNumber PagePath

0       1000  1521333510      0.0        0.0     Home

1       1000  1554888560      0.0        0.0     Home

df_final = pd.concat([df, df_first], ignore_index=True).sort_values(['VisitorID', 'EpochTime', 'HitNumber']).reset_index(drop=True)

的输出df_final是我的预期输出。

所以问题是，我能以更有效的方式做到这一点吗？

Answer 1

您可以DataFrame.drop_duplicates稍微提高性能：d = {'HitTime':0,'HitNumber':0,'PagePath':'Home'}df_first = df.drop_duplicates(['VisitorID', 'EpochTime']).assign(**d)df_final = (pd.concat([df, df_first], ignore_index=True)             .sort_values(['VisitorID', 'EpochTime', 'HitNumber'])             .reset_index(drop=True))print(df_final)   VisitorID   EpochTime  HitTime  HitNumber             PagePath0       1000  1521333510        0          0                 Home1       1000  1521333510      990         14       orders/details2       1000  1521333510     4149         29       orders/payment3       1000  1521333510     6450         54      orders/myorders4       1000  1554888560        0          0                 Home5       1000  1554888560     1400         23       orders/details6       1000  1554888560     5340         54       orders/payment7       1000  1554888560     7034         55  orders/afterpayment8       1000  1554888560    11034         65      orders/myorders9       1000  1554888560    13059        110         customercare另一个想法是df_first通过减去并按索引最后排序来更改索引值：d = {'HitTime':0,'HitNumber':0,'PagePath':'Home'}df_first = df.drop_duplicates(['VisitorID', 'EpochTime']).assign(**d)df_first.index -= .5df_final = pd.concat([df, df_first]).sort_index().reset_index(drop=True)print(df_final)   VisitorID   EpochTime  HitTime  HitNumber             PagePath0       1000  1554888560        0          0                 Home1       1000  1554888560     1400         23       orders/details2       1000  1554888560     5340         54       orders/payment3       1000  1554888560     7034         55  orders/afterpayment4       1000  1554888560    11034         65      orders/myorders5       1000  1554888560    13059        110         customercare6       1000  1521333510        0          0                 Home7       1000  1521333510      990         14       orders/details8       1000  1521333510     4149         29       orders/payment9       1000  1521333510     6450         54      orders/myorders