本文介绍如何在两个不同长度的 dataframe 之间，基于子串包含关系（而非精确匹配）快速完成列映射，避免低效循环，兼顾性能与通用性，适用于 id、编码等后缀/任意位置嵌入场景。
本文介绍如何在两个不同长度的 dataframe 之间，基于子串包含关系（而非精确匹配）快速完成列映射，避免低效循环，兼顾性能与通用性，适用于 id、编码等后缀/任意位置嵌入场景。
在实际数据处理中，常需将一个较短 DataFrame（如主表 FrameA）中的标识符，在另一个较长 DataFrame（如日志或宽表 FrameB）中查找其完整字符串形式——该标识符可能作为子串出现在 FrameB 的任意位置（如末尾11位、中间或开头）。直接使用 for 循环逐行扫描不仅可读性差，且在大数据量下性能极低；而 np.where 或简单广播操作又因维度不匹配而报错。本文提供一套分层优化方案：优先采用向量化映射提升效率，再对剩余未匹配项进行精准兜底。
✅ 场景一：子串固定位于末尾（推荐首选）
若 FrameA['A'] 中的值总是严格对应 FrameB['A'] 的末尾 N 位（例如本例中多数为末尾 11 位），这是最理想情况，可完全向量化：
import pandas as pd
FrameA = pd.DataFrame({"A": ["00281378554", "10862520000", "82540193700", "76015394900", "00134355050", "21864009"]})
FrameB = pd.DataFrame({"A": [
"AT511634000134355050", "AT411513000281378554", "AT711509100151013992",
"AT511509000121340020", "AT424480010862520000", "AT742011182540193700",
"AT531200076015394900", "HU02142201082186400900000000"
]})
# 方案1：使用 map（简洁高效）
FrameA['B'] = FrameA['A'].map(FrameB.set_index(FrameB['A'].str[-11:])['A'])
# 方案2：使用 merge（更显式，便于调试）
out = FrameA.merge(
FrameB.rename(columns={'A': 'B'}),
left_on='A',
right_on=FrameB['A'].str[-11:],
how='left'
)
⚠️ 注意：若 FrameB 中存在相同后缀的多条记录，set_index 会默认保留最后一条；建议提前去重：
FrameB = FrameB.drop_duplicates(subset=FrameB['A'].str[-11:], keep='first')
⚙️ 场景二：子串长度不统一（智能分组 + 向量化）
当 FrameA 中各字符串长度不一致（如本例含 11 位和 8 位），但每类长度内部仍满足“末尾匹配”规律时，可按长度分组批量构建映射器：
def make_length_based_mapper(length):
# 提取 FrameB 中对应长度的末尾子串作为索引
suffixes = FrameB['A'].str[-length:]
# 去重：同 suffix 只保留首个匹配项
return FrameB.set_index(suffixes)['A'].groupby(level=0).first()
# 按 FrameA 中 A 列长度分组，对每组调用对应 mapper
FrameA['B'] = (
FrameA.groupby(FrameA['A'].str.len(), group_keys=False)['A']
.apply(lambda g: g.map(make_length_based_mapper(g.name)))
)
此方法将 O(N×M) 复杂度降至接近 O(N+M)，显著优于全量遍历。
? 场景三：子串位置完全任意（兜底策略）
对于极少数无法通过后缀匹配的 case（如 "21864009" 在 "HU02142201082186400900000000" 中非末尾），可在前两步基础上，仅对 NaN 行执行轻量级 Python 层查找：
def find_first_containing(substr):
for candidate in FrameB['A']:
if substr in candidate:
return candidate
return None
# 仅对未匹配行执行
mask_unmatched = FrameA['B'].isna()
FrameA.loc[mask_unmatched, 'B'] = FrameA.loc[mask_unmatched, 'A'].map(find_first_containing)
✅ 优势：将高开销操作限制在极小数据子集（通常
✅ 最终效果与验证
运行上述组合逻辑后，FrameA 将得到完整映射结果：
| A | B |
|---|---|
| 00281378554 | AT411513000281378554 |
| 10862520000 | AT424480010862520000 |
| 82540193700 | AT742011182540193700 |
| 76015394900 | AT531200076015394900 |
| 00134355050 | AT511634000134355050 |
| 21864009 | HU02142201082186400900000000 |
? 总结建议
- 优先假设结构规律：检查子串是否集中于前缀/后缀/固定偏移，利用 .str[:n] 或 .str[-n:] 向量化；
- 善用 map + set_index：比 merge 更省内存，适合单列映射；
- 分层处理 > 全局暴力：先高效覆盖 95%+ 场景，再针对性兜底；
- 警惕重复键：FrameB 中若存在多个匹配项，明确业务逻辑（取首/取全/报错）并预处理；
- 扩展性提示：如需支持正则或模糊匹配，可将 find_first_containing 替换为 regex.search 或 rapidfuzz 等库。
该方案兼顾代码简洁性、执行效率与业务鲁棒性，是 Pandas 中跨表子串关联任务的标准实践路径。
