怎么用Python对两个非唯一键的DataFrame进行模糊匹配合并？-Python教程-PHP中文网

pandas.merge_asof适用于非唯一键的近似时间/数值匹配，需排序后按direction找最近邻；字符串模糊匹配用rapidfuzz预建索引；高维数值匹配用ckdtree需先标准化；不可在pd.merge中直接用tolerance或callable。

怎么用python对两个非唯一键的dataframe进行模糊匹配合并？

用 `pandas.merge_asof` 处理非唯一键的近似时间/数值匹配

当两个 DataFrame 的键不是一一对应、但存在某种“接近即可”的关系（比如时间戳对齐、价格区间匹配、版本号近似），merge_asof 是最直接的选择。它不要求键唯一，也不要求完全相等，而是按排序后找最近的前向/后向/最近邻匹配。

常见错误是直接用 merge + tolerance 参数——pandas.merge 根本没有 tolerance 这个参数，硬加会报 TypeError: merge() got an unexpected keyword argument 'tolerance'。

必须先对左右表按匹配列升序排序，否则结果不可控
左表的匹配列值必须 ≥ 右表对应值（默认 direction='backward'），否则匹配为空；如需找“最近”，改用 direction='nearest'
若键含重复值，merge_asof 仍能工作，但会为每个左行匹配右表中满足条件的**最后一个**（非唯一时按排序顺序取）

import pandas as pd
left = pd.DataFrame({'time': [1, 2, 3, 3, 4], 'val': ['a','b','c','d','e']}).sort_values('time')
right = pd.DataFrame({'time': [1, 2, 2, 4], 'info': ['x','y','z','w']}).sort_values('time')
result = pd.merge_asof(left, right, on='time', direction='nearest')

用 `fuzzywuzzy` / `rapidfuzz` 做字符串模糊匹配合并

当键是文本（如产品名、人名、地址），且存在拼写差异、缩写、大小写混用时，基于编辑距离的库更合适。fuzzywuzzy 已停更，推荐用其更快更维护的替代品 rapidfuzz。

注意：这不是内置 Pandas 功能，必须手动构造映射关系，再用 map 或 join 合并。不能直接传进 merge。

对右表建立索引式查找结构（如用 FuzzyMatcher 预建 Process 缓存），避免对每个左行都全量扫描右表
rapidfuzz.process.extractOne(query, choices) 返回 (match, score, index)，score
若右表键不唯一，extractOne 默认只返回最高分那个；如需多候选，改用 extract 并取 top-1

from rapidfuzz import process
choices = right['name'].tolist()
scores = [process.extractOne(x, choices) for x in left['name']]
left['match_name'] = [r[0] if r and r[1] > 80 else None for r in scores]
left['score'] = [r[1] if r and r[1] > 80 else 0 for r in scores]

用 `scipy.spatial.cKDTree` 匹配高维数值特征

当“键”其实是多个数值列组成的向量（如用户画像：[age, income, lat, lon]），想按欧氏距离找最近邻，cKDTree 比双重循环快几个数量级。

Python数据分析(免费版)

提供Python数据清洗、统计分析与可视化建议，覆盖业务报表与科研数据的快速处理流程。

下载

容易忽略的是：必须对左右表做相同标准化（如 StandardScaler），否则量纲差异大的维度（如收入 vs 年龄）会主导距离计算，导致匹配失效。

构建树用右表数据：tree = cKDTree(right_scaled)；查询用左表数据：distances, indices = tree.query(left_scaled)
indices 是右表行索引数组，可直接用于 right.iloc[indices] 获取匹配行
若右表有重复向量，cKDTree 仍能返回最近的一个（索引取第一个出现位置），但不会警告

为什么不用 `pd.merge` 加自定义函数？

有人试图写 lambda x: some_fuzzy_logic(x) 塞进 merge 的 how 或 on，这行不通——pd.merge 的 on 只接受列名、列表或数组，不接受 callable；how 只接受字符串（'inner'/'left'等）。

真正可行的路径只有两条：一是预计算好匹配关系（如上面三种方法生成的右表索引或 key 映射），再用 left.join(right.iloc[matched_indices])；二是用 apply + loc 手动逐行查，但千万记得加 .copy() 避免 SettingWithCopyWarning，且性能极差，仅适用于几千行以下。

非唯一键本身不是障碍，障碍在于混淆了「匹配逻辑」和「合并动作」——前者得自己实现，后者只是把结果粘起来。最容易被跳过的步骤是：验证匹配质量（比如抽样看 score 分布、检查 distance 是否集中在合理范围），而不是直接跑完就导出。