Pandas：将多列的子集映射到单列的子集的有效方法

Question

问题

我正在尝试将具有相同名称的多列集合/组合成单列集合。例如：

我有一个包含多个列名重复的数据框。例如，考虑这个例子，我有两个具有相同列名的多列的子集，如下所示：

    A    A     A     B     B

  0 cute tall tall  NaN   old

  1 NaN  NaN   5    NaN   NaN

  2  1   old   NaN  cute  big

我的目标是将每个子集（AAA 和 BB）映射到它自己的单列子集。以下所需的输出说明了这个想法：

      A_new          B_new

 0   "cute, tall"    "old"

 1   "5"              NaN

 2   "1, old"        "cute, big"

为了到达这里，我在输入数据帧上应用了以下 3 个简单逻辑：

1. 将所有非 NaN 值组合成一个字符串并将其保存到新列中。

2. 组合非 NaN 值时检查重复项并只返回那些不重复的值

3. 如果所有值都是 NaN 返回 NaN

我当前的解决方案基于 for 循环，遍历每一行。但是，这种方法非常慢，而且我的数据框很大，因此我想知道是否有更有效/更快速的方法来实现这一目标？

这是我当前（非常慢）的解决方案：

for c,j in tqdm(enumerate(columns)): # columns is a list holding all the relevant column names

    merged_values = []

    for i in (range(0,len(df))):

        values = [x for x in df[j].iloc[i] if x is not np.nan]

        values = list(set(values))

        if values == []:

            values = np.nan

        #print(values)

        elif len(values) > 1:

            values = ", ".join(values)

        else:

            values = values[0]

        merged_values.append(values)

    if c == 0:

        data = pd.DataFrame(merged_values,columns=[j+"_new"])

    else:

        data[j] = pd.DataFrame(merged_values,columns=[j+"_new])

Answer 1

你只需stack要先然后groupby用join然后转换回来unstackdf.stack().groupby(level=[0,1]).apply(lambda x : ','.join(set(x))).unstack()Out[237]:            A         B0  cute,tall       old1          5       NaN2      1,old  big,cute