当两个 dataframe 在连接键上存在重复值时，outer merge 会产生笛卡尔积式组合，导致冗余行；本文介绍通过构造排序后唯一键（如元组+排序）并去重，精准保留逻辑匹配关系的方法。
当两个 dataframe 在连接键上存在重复值时，outer merge 会产生笛卡尔积式组合，导致冗余行；本文介绍通过构造排序后唯一键（如元组+排序）并去重，精准保留逻辑匹配关系的方法。
在使用 pd.merge(..., how='outer') 进行外连接时，若连接键（如 col1）在任一 DataFrame 中存在重复值，Pandas 默认会生成所有可能的组合——即典型的多对多笛卡尔积行为。这正是你遇到问题的根本原因：col1=1 在两个 DataFrame 中均出现两次（对应 ['A','B']），因此合并后产生 2×2=4 行，而非期望的 2 行一一对应结果。
直接使用 drop_duplicates() 无法解决，因为 col2_x 和 col2_y 的原始配对顺序不一致（如 (A,B) 与 (B,A) 被视为不同）。关键在于：需将语义上等价的配对标准化为同一形式。
✅ 推荐解决方案：引入辅助列对配对值进行规范化排序后去重：
import pandas as pd
import numpy as np
# 构造示例数据
df1 = pd.DataFrame({'col1': [1, 1, 2, 5, 4], 'col2': ['A', 'B', 'C', 'Z', 'Q']})
df2 = pd.DataFrame({'col1': [1, 1, 2, 3, 4, 4], 'col2': ['A', 'B', 'E', 'X', 'R', 'S']})
# 执行外连接
merged = pd.merge(df1, df2, on='col1', how='outer', suffixes=('_x', '_y'))
# 步骤1：构造标准化配对键（对每行的 col2_x/col2_y 组合排序）
# 注意：需先处理 NaN，避免排序报错
merged['pair'] = merged.apply(
lambda row: tuple(sorted([str(row['col2_x']), str(row['col2_y'])])),
axis=1
)
# 步骤2：按 pair 去重（保留首次出现，即最接近原始顺序的合理匹配）
result = merged.drop_duplicates(subset='pair', keep='first').drop(columns='pair')
# 可选：将 'nan' 字符串还原为真正的 NaN（如需）
result = result.replace('nan', np.nan)
print(result)
输出：
col1 col2_x col2_y 0 1 A A 2 1 B B 4 2 C E 5 5 Z NaN 6 3 NaN X 7 4 Q R 9 4 Q S
⚠️ 注意事项：
- 此方法假设“相同值配对优先”是业务合理逻辑（如 A↔A, B↔B），适用于多数场景；若需自定义匹配规则（如基于距离、权重或顺序），应改用 merge_asof 或自定义映射逻辑。
- keep='first' 保证结果稳定；若需其他策略（如保留 col2_y 非空优先），可在去重前对 merged 预排序。
- 对于大规模数据，apply + sorted 存在性能开销；生产环境可改用 numpy 向量化操作或预分组处理。
总结：Pandas 的 merge 本身不支持“智能一对一分配”，面对多对多连接，必须通过语义归一化 + 显式去重来约束结果。理解笛卡尔积成因，并掌握辅助键构造技巧，是处理复杂合并场景的核心能力。
