在数据分析和处理中，经常会遇到需要比较两个数据集（通常是pandas dataframe）并根据比较结果更新其中一个数据集的场景。一个典型的需求是，判断dataframe a中的每一行是否存在于dataframe b中，然后根据判断结果在dataframe a中新增一个列，并赋予相应的值。例如，如果某行在dataframe b中存在，则标记为“open”，否则标记为“new”。
场景描述与需求
假设我们有两个DataFrame，data1和data2，它们包含相似的结构和数据：
import pandas as pd
import numpy as np
data1 = pd.DataFrame(
{'A': [1, 2, 3, 4, 5],
'B': ['apple', 'banana', 'orange', 'apple', 'grape'],
'C': [10, 20, 30, 40, 50]})
data2 = pd.DataFrame(
{'A': [1, 2, 6],
'B': ['apple', 'banana', 'kiwi'],
'C': [10, 20, 60]})
print("DataFrame 1:")
print(data1)
print("\nDataFrame 2:")
print(data2)
我们的目标是检查data1中的每一行是否与data2中的某一行完全匹配。如果匹配，则在data1中新增的new_col列中标记为“Open”；否则，标记为“New”。
期望的输出结果如下：
A B C new_col 0 1 apple 10 Open 1 2 banana 20 Open 2 3 orange 30 New 3 4 apple 40 New 4 5 grape 50 New
核心解决方案：isin()与numpy.where()
要实现上述需求，我们可以利用Pandas DataFrame的isin()方法结合all(axis=1)以及NumPy的where()函数。
使用 inotes CLI 从终端管理 Apple Notes。当需要在 macOS 的 Notes.app 中列出、读取、创建、编辑、删除或搜索备忘录时使用。
DataFrame.isin(other): 这个方法用于检查DataFrame中的每个元素是否包含在other（可以是Series、DataFrame、字典或列表）中。当other是一个DataFrame时，isin()会进行列对列的比较。它会返回一个布尔类型的DataFrame，其中每个元素指示对应位置的值是否在other DataFrame的相应列中存在。
all(axis=1): isin()返回的布尔DataFrame，其行数和列数与原始DataFrame相同。为了判断一行是否完全匹配data2中的某一行，我们需要确保该行中的所有元素都在data2的对应列中存在。all(axis=1)方法可以对布尔DataFrame的每一行进行逻辑“与”操作，如果一行中的所有布尔值为True，则结果为True，否则为False。这正是我们进行行级匹配所需要的。
-
numpy.where(condition, x, y): numpy.where()是一个非常强大的条件选择函数。它接受三个参数：
- condition: 一个布尔数组或可转换为布尔数组的表达式。
- x: 当condition为True时选择的值。
- y: 当condition为False时选择的值。 通过将isin(...).all(axis=1)的结果作为condition，我们可以根据行匹配的结果有条件地赋值。
完整代码示例
将上述概念结合起来，我们可以得到以下解决方案：
import pandas as pd
import numpy as np
# 示例数据
data1 = pd.DataFrame(
{'A': [1, 2, 3, 4, 5],
'B': ['apple', 'banana', 'orange', 'apple', 'grape'],
'C': [10, 20, 30, 40, 50]})
data2 = pd.DataFrame(
{'A': [1, 2, 6],
'B': ['apple', 'banana', 'kiwi'],
'C': [10, 20, 60]})
# 使用 isin() 检查 data1 的每个元素是否在 data2 的对应列中
# 然后使用 all(axis=1) 判断 data1 的每一行是否所有元素都在 data2 中
# 最后使用 np.where() 根据条件设置新列的值
data1['new_col'] = np.where(data1.isin(data2).all(axis=1), 'Open', 'New')
print("更新后的 DataFrame 1:")
print(data1)
代码解析：
- data1.isin(data2): 这一步会生成一个与data1形状相同的布尔DataFrame。例如，data1.loc[0, 'A']的值1在data2['A']中存在，所以对应的布尔值为True。data1.loc[2, 'B']的值'orange'在data2['B']中不存在，所以对应的布尔值为False。
- .all(axis=1): 对上一步生成的布尔DataFrame进行行级操作。只有当一行中所有列的布尔值都为True时，该行的结果才为True。这意味着data1中的该行在data2中找到了完全匹配的对应行。
- np.where(...): 接收.all(axis=1)的结果作为条件。如果条件为True（即行匹配），则将new_col设置为'Open'；如果条件为False（即行不匹配），则设置为'New'。
注意事项
- 列名与顺序: isin(other_df)在比较时会匹配列名。只有当data1和data2拥有相同的列名时，这种方法才能正确工作。如果列名不同，或者列的顺序很重要，但data2的列顺序与data1不同，可能需要先对data2进行列重排或选择子集。
- 性能: 对于非常大的DataFrame，isin()操作可能会消耗较多内存和计算资源。在极端情况下，可以考虑使用merge()或join()操作来达到类似的效果，尤其是在需要更复杂匹配逻辑时。例如，pd.merge(data1, data2, how='left', indicator=True)可以生成一个指示列，表明data1的行是否在data2中。
- 精确匹配: isin()方法进行的是精确匹配。这意味着data1中的一行必须与data2中的某一行在所有指定列上都完全相同才会被认为是匹配。
总结
通过巧妙地结合使用Pandas的isin()方法和NumPy的where()函数，我们可以高效且灵活地实现DataFrame之间的行级比较，并根据比较结果有条件地更新或新增列。这种方法在数据清洗、特征工程和报告生成等多种场景下都非常实用，能够帮助用户快速识别并标记数据中的特定模式或关系。理解其背后的原理和注意事项，将有助于更有效地利用Pandas进行数据处理。
