矢量化：如何避免两个 for 循环？

Question

通过这篇文章，我正在寻找输入来矢量化我的 python 代码，该代码目前使用两个 for 循环。出于性能原因，我想避免使用 for 循环。我当前的工作 python 代码如下所示。

代码有什么作用？我有一个带有 c1 列的输入数据框，它有 4 行 10 行和三行 20 行。c2 列是另一列带有一些随机数的列。

预期输出：我的窗口大小为 2。因此，对于 c1 = 10 或 c1=20 的每 2 行，我必须计算相应列 c2 的平均值。我附上了输入和预期输出的屏幕截图。

目前，我正在使用两个 for 循环来实现这一点。

输入数据框截图：输入数据框 预期输出截图：预期输出

我当前的 Python 代码：

import pandas as pd

data = [{'c1':10, 'c2':10},{'c1':10,'c2':20},{'c1':10,'c2':30},{'c1':10,'c2':40},

       {'c1':20,'c2':50},{'c1':20,'c2':60},{'c1':20,'c2':70}]

df = pd.DataFrame(data) # df = Input

df.head()

 

window = 2

allDF = pd.DataFrame()

records = df['c1'].unique()

for x in records:

    intervalsDF = pd.DataFrame(columns=['c1','meanc2'])

    df2 = df.loc[df['c1'] == x]

    for i in range(0, len(df2), window):

        intervalIndex = len(intervalsDF)

        interval = df2[i:i+window]

        c1 = list(interval['c1'])[0]

        meanc2 = interval['c2'].mean()

        intervalSummary = [c1,meanc2]

        intervalsDF.loc[intervalIndex] = intervalSummary

    allDF = allDF.append(intervalsDF) # allDF is the expected output

allDF.head()

Answer 1

可能有一种更短、更简单的方法来执行转换。但这里有一种避免循环的方法。# create the data frame, as per the original postdata = [{'c1':10, 'c2':10},        {'c1':10,'c2':20},        {'c1':10,'c2':30},        {'c1':10,'c2':40},        {'c1':20,'c2':50},        {'c1':20,'c2':60},        {'c1':20,'c2':70}]df = pd.DataFrame(data) # df = Input# 1. convert the index to an ordinary columndf = df.reset_index()# 2. 'helper' is a column that counts 0, 1, 2, 3, ... #     and re-starts for each c1df['helper'] = df['index'] - df.groupby('c1')['index'].transform(min)# 3. integer division on 'helper', to get 0, 0, 1, 1, 2, 2, ... # (identify non-overlapping pairs)df['helper'] //= 2# 4. now convert 'index' from ordinary column back to an Indexdf = df.set_index('index')# 5. compute the mean of c2 for value of 'c1' and each pair of observationsdf = df.groupby(['c1', 'helper'])['c2'].mean()# 6. re-order 'helper' and 'c1' to match order in outputdf.index = df.index.swaplevel()print(df)helper  c10       10    151       10    350       20    551       20    70Name: c2, dtype: int64