本文介绍如何在 Pandas 中实现灵活的数据框合并——当目标 ID 可能出现在多个源列（如 IDL1 或 IDL2）中，且需排除与原始字段组合（如 Orig+Dest）完全一致的冗余匹配时，通过 melt + merge + 布尔过滤构建健壮、可扩展的合并逻辑。
本文介绍如何在 pandas 中实现灵活的数据框合并——当目标 id 可能出现在多个源列（如 `idl1` 或 `idl2`）中，且需排除与原始字段组合（如 `orig+dest`）完全一致的冗余匹配时，通过 `melt` + `merge` + 布尔过滤构建健壮、可扩展的合并逻辑。
在实际数据分析中，常遇到“一对多”或“多源 ID 匹配”的合并需求：目标表（df1）的某列（如 ID）需关联到源表（df2）中多个候选列（如 IDL1 和 IDL2），而非单一键。更进一步，若存在多个匹配项，还需根据业务逻辑（例如排除 Orig+Dest 与 Orig2+Dest2 完全相同的记录）进行精准筛选。直接使用 pd.merge() 单键合并无法满足此类需求，但借助 pandas.melt() 重构源表结构，可将多列 ID 映射统一为长格式，从而实现高效、清晰且可复用的合并流程。
具体步骤如下：
-
将 df2 中的多 ID 列（IDL1, IDL2）熔合为标准长格式：
使用 melt() 将 IDL1 和 IDL2 合并为一列 ID，同时保留其对应的业务字段（Orig2, Dest2, DayL 等）。注意需显式指定 value_vars 和 value_name，并丢弃无意义的 variable 列（原列名标识）：
tmp = df2.melt(
id_vars=['Orig2', 'Dest2', 'DayL'], # 保持不变的字段
value_vars=['IDL1', 'IDL2'], # 待熔合的 ID 列
value_name='ID' # 新 ID 列名
).drop('variable', axis=1) # 删除自动生成的 'variable' 列
-
执行主表合并：
以 df1 为左表、tmp 为右表，按 ID 列进行左连接（how='left'），使 df1 每行尝试匹配所有可能的 IDL1/IDL2 对应记录：
tmp2 = df1.merge(tmp, on='ID', how='left')
-
应用业务逻辑过滤：
根据题目要求——仅保留 Orig ≠ Orig2 或 Dest ≠ Dest2 的记录（即排除完全重复的航线组合），使用布尔索引完成最终筛选：
result = tmp2[tmp2['Orig'] != tmp2['Orig2'] | tmp2['Dest'] != tmp2['Dest2']]
✅ 关键优势：该方案天然支持任意数量的 ID 映射列（只需向 value_vars 添加新列），且逻辑过滤条件可自由扩展（如增加 A == A2、F == F2 等校验），真正实现“通用解”。
⚠️ 注意事项：
- 若 IDL1 或 IDL2 含缺失值（NaN），melt() 会保留它们；建议在 merge 前对 tmp['ID'] 执行 dropna() 避免意外空匹配。
- 当存在一对多匹配时，merge 会产生笛卡尔式膨胀；本例中通过后续布尔过滤隐式去重，但若需严格一对一映射，应在 tmp 中预先按业务规则（如取 DayL 最小值）去重。
- 字段名冲突需提前处理（如 df2 中若存在 ID 列，应重命名再 melt）。
综上，melt → merge → filter 三步法兼顾简洁性与表达力，是解决复杂多列 ID 关联问题的推荐范式。
