如何有效地找到两个 Pandas DataFrame 之间的差异？

查找两个数据框之间的差异

使用 pandas 数据框时，通常会遇到需要比较两个数据框的情况并提取它们之间的差异。例如，您可能有一个基础数据框 (df1) 和一个子集数据框 (df2)，并且想要创建一个新数据框 (df3)，其中包含 df1 中 df2 中不存在的所有行和列。

使用 drop_duplicates

实现此目的最直接的方法是使用drop_duplicates 函数。通过连接 df1 和 df2，然后对连接的数据框应用 drop_duplicates，您可以消除重复行并获得仅包含唯一行的数据框。

pd.concat([df1, df2]).drop_duplicates(keep=False)

处理重复

但是，如果 df1 或 df2 本身包含重复行，则drop_duplicates 方法可能会导致错误的输出。为了解决这个问题，您可以使用保留原始重复项的替代方法：

方法 1：将 isin 与元组结合使用

此方法涉及将数据帧的每一行转换为一个元组并检查两个数据帧中是否都存在该元组。与另一个数据框中的任何元组都不匹配的行将包含在差异数据框中。

df1[~df1.apply(tuple, 1).isin(df2.apply(tuple, 1))]

方法 2：与指标合并

另一个该方法涉及使用指示符列合并 df1 和 df2。通过在合并中指定 how='left'，df1 中在 df2 中没有对应行的行将被分配 left_only 的 _merge 列值。然后您可以根据该指标列过滤掉行以获得差异数据框。

df1.merge(df2, indicator=True, how='left').loc[lambda x: x['_merge'] != 'both']

以上是如何有效地找到两个 Pandas DataFrame 之间的差异？的详细内容。更多信息请关注PHP中文网其他相关文章！