本文介绍使用 Pandas 的 merge + notna() 实现向量化匹配，快速为 DataFrame 添加布尔标识列，判断 (c1, c2) 组合是否完整存在于参考表中，避免低效的 apply 和 zip 检索。
本文介绍使用 pandas 的 `merge` + `notna()` 实现向量化匹配，快速为 dataframe 添加布尔标识列，判断 `(c1, c2)` 组合是否完整存在于参考表中，避免低效的 `apply` 和 `zip` 检索。
在数据清洗与特征工程中，常需验证某组多列值（如 (c1, c2)）是否同时存在于另一张查找表（lookup table）中。若采用逐行遍历（如 apply + in zip(...)），不仅代码冗长，且性能随数据量增长急剧下降。更优解是利用 Pandas 原生的向量化操作——通过一次左连接（left merge）引入匹配结果，再基于连接后字段的缺失性生成布尔标识。
以下为完整实现：
import pandas as pd
# 构造示例数据
d1 = pd.DataFrame({
'c1': ['A', 'B', 'C', 'D', 'E', 'F'],
'c2': ['G', 'H', 'I', 'J', 'K', 'L'],
'val': [10, 20, 30, 40, 50, 60]
})
d2 = pd.DataFrame({
'c1': ['A', 'B', 'C', 'D', 'E', 'F'],
'c2': ['H', 'H', 'I', 'J', 'L', 'K'],
'c1_found': [1, 1, 1, 1, 1, 1],
'c2_found': [1, 1, 1, 1, 1, 1]
})
# ✅ 向量化方案：左连接 + 缺失值检测
d2 = d2.merge(d1[['c1', 'c2']], on=['c1', 'c2'], how='left', indicator=False)
d2['c1_c2_found'] = d2['val'].notna().astype(int)
d2 = d2.drop(columns=['val']) # 清理临时列（因 d1 中 val 被自动带入）
? 关键原理说明：
- merge(..., how='left') 将 d2 的每行尝试在 d1 中匹配 (c1, c2) 完全相同的记录；匹配成功则填充 d1 的对应列（如 val），失败则该列值为 NaN。
- d2['val'].notna() 返回布尔 Series，astype(int) 将其转为 1/0，即精准表示“组合是否存在”。
- 注意：为避免冗余列干扰，推荐仅保留 d1 中用于匹配的键列（[['c1','c2']]）参与合并；若 d1 含其他列，可显式选择或用 suffixes 参数避免重名冲突。
✅ 优势总结：
- 完全向量化：无 Python 循环或 Lambda，执行速度比 apply 快数倍至数十倍（尤其在万级+数据时）；
- 内存友好：不生成中间元组列表或布尔掩码集合；
- 语义清晰：逻辑直指“存在性检查”，符合 SQL 中 EXISTS 的思维范式；
- 可扩展性强：轻松支持三列及以上组合匹配（只需扩展 on=[...] 列表）。
⚠️ 注意事项：
- 确保 d1 中 (c1, c2) 组合无重复（否则 merge 会产生笛卡尔膨胀）；如有重复，建议先对 d1 去重：d1.drop_duplicates(subset=['c1','c2'])；
- 若 d1 不含 val 列，可改用任意一列（如 d1.assign(dummy=1)[['c1','c2','dummy']]），再检测 dummy.notna()；
- 如需区分“部分匹配”与“完全匹配”，应分别对 c1、c2 单独 isin，而非依赖联合键匹配。
此方法兼顾简洁性、性能与可维护性，是 Pandas 数据匹配任务中的推荐实践。
