本文介绍如何在 pandas 中对两个 dataframe 进行多条件（姓名 + ssn 后四位）稳健合并，解决大小写不一致、姓名格式差异（如 “doe, john a” vs “john doe”）及隐私脱敏（ssn 仅保留末4位）带来的匹配难题。
本文介绍如何在 pandas 中对两个 dataframe 进行多条件（姓名 + ssn 后四位）稳健合并，解决大小写不一致、姓名格式差异（如 “doe, john a” vs “john doe”）及隐私脱敏（ssn 仅保留末4位）带来的匹配难题。
在实际人力资源或员工数据整合场景中，常需将脱敏后的主表（如含 Name 和掩码 SSN）与结构化信息表（如含 First_Name、Last_Name、完整 SSN 和 EmployeeID）进行关联。由于 SSN 已被部分遮蔽（如 "XXXX-XX-1234"），仅靠末四位匹配存在冲突风险；而姓名字段又存在顺序（“Last, First Middle” vs “First Last”）、大小写、中间名/缩写等不一致问题。此时，单字段 join 不可靠，必须构建鲁棒的复合键（composite key）。
✅ 推荐方案：双条件安全合并（姓名标准化 + SSN 末四位）
核心思路是：
-
双向标准化姓名：统一转大写，并从
df['Name']中提取规范化的Last_Name和First_Name； - 提取 SSN 末四位作为辅助键（避免纯末四位歧义）；
-
在 merge 中同时指定
First_Name、Last_Name和SSN_Last_4三列作为连接键，显著提升唯一性。
以下是可直接运行的完整代码（已适配原始数据结构）：
import pandas as pd
# 原始数据（模拟）
df = pd.DataFrame({
'Name': ['Doe, John A', 'Doe, Jane B', 'Test, Example'],
'SSN': ['XXXX-XX-1234', 'XXXX-XX-9876', 'XXXX-XX-0192']
})
Employee_Info = pd.DataFrame({
'First_Name': ['John', 'JANE', 'Example'],
'Last_Name': ['Doe', 'DOE', 'Test'],
'SSN': ['999-45-1234', '999-45-9876', '999-45-0192'],
'EmployeeID': [12, 13, 14]
})
# 步骤1：为 Employee_Info 提取 SSN 末4位 & 标准化姓名
emp_clean = (Employee_Info
.assign(
SSN_Last_4=lambda x: x['SSN'].str.extract(r'(\d{4})$')[0],
First_Name=lambda x: x['First_Name'].str.upper(),
Last_Name=lambda x: x['Last_Name'].str.upper()
)
)
# 步骤2：为 df 解析并标准化姓名（"Last, First X" → ["Last", "First"]）
df_clean = (df
.assign(
# 提取末4位（兼容 XXXX-XX-1234 格式）
SSN_Last_4=lambda x: x['SSN'].str.extract(r'(\d{4})$')[0],
# 拆分 Name：先移除末尾单字符（如 "A"、"B"），再按 ", " 分割
parsed_name=lambda x: x['Name'].str.replace(r'\s\D$', '', regex=True)
.str.upper()
.str.split(', ', expand=True)
)
.assign(
Last_Name=lambda x: x['parsed_name'][0],
First_Name=lambda x: x['parsed_name'][1]
)
.drop(columns=['parsed_name'])
)
# 步骤3：双条件 merge（优先级：Last_Name + First_Name + SSN_Last_4）
result = pd.merge(
df_clean,
emp_clean[['First_Name', 'Last_Name', 'SSN_Last_4', 'EmployeeID']],
on=['First_Name', 'Last_Name', 'SSN_Last_4'],
how='left'
)[['Name', 'SSN', 'EmployeeID']]
print(result)
输出结果：
Name SSN EmployeeID 0 Doe, John A XXXX-XX-1234 12.0 1 Doe, Jane B XXXX-XX-9876 13.0 2 Test, Example XXXX-XX-0192 14.0
⚠️ 关键注意事项
-
正则健壮性：
r'\s\D$'用于移除姓名末尾空格+单个非数字字符（如中间名缩写），若存在双字母缩写（如"John A.B."），需升级正则（例如r'\s[A-Z]\.?(\s[A-Z]\.?)*$'）； -
缺失值处理：
merge(..., how='left')会保留df全部行，未匹配项EmployeeID为NaN，建议后续用result['EmployeeID'].isna().sum()检查匹配率； -
性能优化：对大数据集，可在
merge前对First_Name/Last_Name/SSN_Last_4三列联合去重并建立索引； -
扩展性提示：如需支持音似匹配（如 “Jon” vs “John”），可集成
fuzzywuzzy或rapidfuzz，但会牺牲确定性与性能。
通过该方法，你不再依赖脆弱的字符串模糊匹配，而是以可控、可复现、易调试的方式实现高精度多条件连接——这正是生产环境中数据融合的黄金实践。
