查找 pandas Dataframe 列的唯一行，其中第二列的所有值都是 NaN

Question

我正在努力解决以下问题：

给定一个包含列的数据框name，variable我想创建 2 个列表：

• list_names_nan 包含变量列中所有值为 nan 的名称

• list_names_not_nan 包含变量列中的列表 1 值不是 nan 的名称

下面是一个例子

import pandas

import numpy

df = pandas.DataFrame(data=[['x',1],['y',2],['x',4],['z',numpy.nan],

                            ['x',numpy.nan],['y',3],['x',numpy.nan],['z',numpy.nan],],

                            columns=['name','variable'])

df:

  name  variable

0    x       1.0

1    y       2.0

2    x       4.0

3    z       NaN

4    x       NaN

5    y       3.0

6    x       NaN

7    z       NaN

所需的输出应该是

list_names_nan = [z]

list_names_not_nan = [x,y]

Answer 1

用于Series.isna创建布尔掩码，然后Series.groupby在此掩码上使用并聚合，all最后使用此掩码m过滤nan和not_nan值：m = df['variable'].isna().groupby(df['name']).all()nan, not_nan = m[m].index.tolist(),  m[~m].index.tolist()结果：['z']  # nan['x', 'y'] # not_nan

Answer 2

这是使用自定义聚合函数的另一种方法：agg = df.groupby('name').agg(lambda x: all(np.isnan(x))).reset_index()这会生成一个聚合数据框：  name  variable0    x     False1    y     False2    z      TrueFalse然后你就可以得到是或的名字Truelist_names_nan = agg.loc[agg['variable']==True]['name'].tolist()list_names_not_nan = agg.loc[agg['variable']==False]['name'].tolist()