本文介绍一种通用、健壮的pandas数据合并方法：将主表df1与关联表df2按id列（idl1或idl2）匹配，并仅保留orig/dest与orig2/dest2组合不一致的记录，最终注入orig2、dest2、dayl等字段。
本文介绍一种通用、健壮的pandas数据合并方法：将主表df1与关联表df2按id列（idl1或idl2）匹配，并仅保留orig/dest与orig2/dest2组合不一致的记录，最终注入orig2、dest2、dayl等字段。
在实际数据分析中，常遇到“一对多”且带逻辑过滤条件的合并需求——例如航班数据中，一个航班ID可能对应多个潜在衔接航段（由IDL1/IDL2标识），但仅需保留起降地（Orig/Dest vs Orig2/Dest2）不重合的关联记录。直接使用pd.merge无法同时满足“ID匹配任一列”+“字段组合排他性过滤”双重条件。此时，melt + merge + 布尔索引是更灵活、可扩展的解决方案。
核心思路分三步：
- 标准化df2的ID映射关系：将IDL1和IDL2两列“熔化”（melt）为长格式，使每个ID候选值独占一行，消除列维度差异；
- 执行左连接：以ID为键，将df1与熔化后的临时表合并，自然承载所有匹配可能性；
- 应用业务逻辑过滤：用布尔索引筛选出Orig ≠ Orig2 或 Dest ≠ Dest2 的行（即排除完全相同的起降对），确保注入的是有意义的关联信息。
以下是完整实现代码：
import pandas as pd
# 构造示例数据
data1 = {'ID': [385908, 385909, 757947, 757946],
'A': ['LH', 'LH', 'LH', 'LH'],
'F': [646, 646, 646, 646],
'Orig': ['FRA', 'FRA', 'NQZ', 'NQZ'],
'Dest': ['NQZ', 'NQZ', 'ALA', 'ALA'],
'DayU': [1, 6, 1, 6],
'DepU': [650, 650, 1130, 1130]}
df1 = pd.DataFrame(data1)
data2 = {'A': ['LH', 'LH', 'LH', 'LH', 'LH', 'LH'],
'F': [646, 646, 646, 646, 646, 646],
'Orig2': ['FRA', 'FRA', 'FRA', 'FRA', 'NQZ', 'NQZ'],
'Dest2': ['ALA', 'ALA', 'NQZ', 'NQZ', 'ALA', 'ALA'],
'DayL': [1, 6, 1, 6, 2, 7],
'DepL': [710, 710, 710, 710, 50, 50],
'IDL1': [385908, 385909, 385908, 385909, 757947, 757946],
'IDL2': [757947, 757946, -1, -1, -1, -1]}
df2 = pd.DataFrame(data2)
# 步骤1：熔化df2，将IDL1/IDL2统一为ID列
tmp = df2.melt(
id_vars=['Orig2', 'Dest2', 'DayL'], # 保留的非ID列
value_vars=['IDL1', 'IDL2'], # 待熔化的ID列
value_name='ID' # 新ID列名
).drop('variable', axis=1) # 删除无用的variable列（原列名）
# 步骤2：与df1左连接
tmp2 = df1.merge(tmp, on='ID', how='left')
# 步骤3：逻辑过滤——仅保留Orig/Dest与Orig2/Dest2不完全相同的记录
result = tmp2[tmp2['Orig'] != tmp2['Orig2'] | tmp2['Dest'] != tmp2['Dest2']].copy()
print(result)
✅ 输出结果（符合预期逻辑）：
ID A F Orig Dest DayU DepU Orig2 Dest2 DayL 0 385908 LH 646 FRA NQZ 1 650 FRA ALA 1 2 385909 LH 646 FRA NQZ 6 650 FRA ALA 6 5 757947 LH 646 NQZ ALA 1 1130 FRA ALA 1 7 757946 LH 646 NQZ ALA 6 1130 FRA ALA 6
⚠️ 注意事项与扩展建议：
- 若IDL1/IDL2含缺失值（NaN）或无效占位符（如-1），建议在melt前先用df2.replace(-1, pd.NA)清洗，避免错误匹配；
- 如需保留所有匹配项（包括Orig/Dest相同的情况）并打标，可新增列：result['is_same_route'] = (result['Orig']==result['Orig2']) & (result['Dest']==result['Dest2'])；
- 对于超大规模数据，melt后merge可能产生中间膨胀，可考虑先用pd.concat([df2[['IDL1','Orig2','Dest2','DayL']].rename(columns={'IDL1':'ID'}), ...])拼接预处理，提升性能；
- 此模式天然支持任意数量的ID映射列（如IDL1/IDL2/IDL3…），只需扩展value_vars列表即可，真正实现“通用解”。
该方案兼顾清晰性、可维护性与业务严谨性，是处理复杂关联合并任务的推荐实践。
