Pandas - 从具有不同列的两个数据框中删除重复项

Question

我有两个数据帧：1 个主要 df 和 1 个包含我想在主要数据帧（dfmatch）中删除的行。主要 df 比 dfmatch 具有更多列。

我只想删除主要 df 中的行，如果第 1 列、第 2 列和第 3 列等于 dfmatch 的相应列中的值。

列 extra1 和 extra2 也应该在 dfnew 中可用。

我当前的脚本仅显示列标题而不是其余行：

file = 'testdf.csv'

colnames=['column1', 'column2', 'column3', 'extra1', 'extra2'] 

df = pd.read_csv(file, names=colnames, header=None)

file = 'testdfmatch.csv'

colnames=['column1', 'column2', 'column3'] 

dfmatch = pd.read_csv(file, names=colnames, header=None)

dfnew = pd.concat([dfmatch,df,df], sort=False).drop_duplicates(['column1', 'column2', 'column3'], keep=False)

Answer 1

样本数据会很有用。让我们尝试一下pd.merge，indicator=dfnew  = pd.merge(df, dfmatch, how='left', indicator='Exist')dfnew  = dfnew .loc[dfnew ['Exist'] != 'both']dfnew.drop(columns=['Exist'], inplace=True) print(dfnew)

Answer 2

上面的代码可以实现你想要的功能。dfnew=df.append(dfmatch,ignore_index=True)defnew.drop_duplicates(subset=['column1', 'column2', 'column3'],                 keep = 'first', inplace = True)它在 df 下面添加 dfmatch 创建 dfnew。然后，它仅使用第 1、2 和 3 列作为子集来删除重复行。它仅保留与 df 中的初始行相对应的第一个匹配项，其中包括 extra1 和 extra2。由于 python 中的浮点精度处理，我不建议使用浮点值作为子集。extra1 和 extra2 上带有 NaN 的行表示最初位于 dfmatch 上。