通过随机抽样其他列数据创建新列

Question

我想通过从其余列中随机采样数据来创建一个新列。

考虑一个带有“N”列的数据框，如下所示：

|---------------------|------------------|---------------------|

|      Column 1       |     Column 2     |      Column N       |

|---------------------|------------------|---------------------|

|          0.37       |         0.8      |          0.0        |

|---------------------|------------------|---------------------|

|          0.0        |         0.0      |          0.8        |

|---------------------|------------------|---------------------|

结果数据框应该看起来像

|---------------------|------------------|---------------------|---------------|

|      Column 1       |     Column 2     |      Column N       |     Sampled   |

|---------------------|------------------|---------------------|---------------|

|          0.37       |         0.8      |          0.0        |       0.8     |

|---------------------|------------------|---------------------|---------------|

|          0.0        |         0.0      |          B          |        B      |

|---------------------|------------------|---------------------|---------------|

|          A          |         5        |          0.8        |        A      |

|---------------------|------------------|---------------------|---------------|

“Sampled”列的条目是通过随机选择“N”列的相应条目之一来创建的。例如，从第 2 列中选择“0.8”，从第 N 列中选择“B”，依此类推。

df.sample(axis=1)只需选择一列并返回它。这不是我想要的。

实现这一目标的最快方法是什么？该方法需要高效，因为原始数据框很大，有很多行和列。

Answer 1

您可以使用底层numpy数组并为每行选择一个随机索引。u = df.valuesr = np.random.randint(0, u.shape[1], u.shape[0])df.assign(Sampled=u[np.arange(u.shape[0]), r])  Column 1  Column 2 Column N Sampled0     0.37       0.8      0.0    0.371      0.0       0.0        B       B2        A       5.0      0.8       A

Answer 2

熊猫基地lookup+samples=df.columns.to_series().sample(len(df),replace = True)df['New']=df.lookup(df.index,s)dfOut[177]:   Column1  Column2 ColumnN  New0    0.37      0.8     0.0  0.81     0.0      0.0       B    B2       A      5.0     0.8    A

Answer 3

一种选择是apply np.random.choice沿着行到数据框。这可能会也可能不会为您提供所需的性能，但我让您自行决定设置：DF 4 列 11000 行df=pd.DataFrame({'a':[np.random.rand() for i in range(11000)],'b':[np.random.rand() for i in range(11000)],                 'c':[np.random.rand() for i in range(11000)],'d':[np.random.rand() for i in range(11000)]})%timeit df['e']=df.apply(lambda x: np.random.choice(x), axis=1)193 ms ± 28 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)其他基准：添加x.values到 lambda 中似乎可以将速度提高大约 20%。但是，@wen-ben 的解决方案是在同一数据帧上将此方法改进了 100 倍1.91 ms ± 155 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)根据要求，这里是 user3483203 的答案的时间，可能会更好（我不得不对它做一些事情以使其与时间魔法一起工作，所以 ymmv）%%timeitdf1=df.copy()u = df.valuesr = np.random.randint(0, u.shape[1], u.shape[0])df1=df1.assign(Sampled=u[np.arange(u.shape[0]), r])590 µs ± 37 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)