本文介绍如何基于多个列（如 mandant、fachabteilung、fachexpertise）对齐分组，从映射表中为原始 dataframe 的缺失字段（如 leistungsgruppe）高效、可复现地随机填充最多 3 个不重复样本。
本文介绍如何基于多个列（如 mandant、fachabteilung、fachexpertise）对齐分组，从映射表中为原始 dataframe 的缺失字段（如 leistungsgruppe）高效、可复现地随机填充最多 3 个不重复样本。
在实际数据处理中，常需用参考映射表（MAP）补全主表（df）中的缺失分类字段。核心挑战在于：既要保证分组条件严格匹配（多列联合），又要确保每个缺失位置获得真正随机、且不超出映射表该分组容量的样本；若某分组在 MAP 中有超 3 条记录，还需限制最多取 3 条以避免偏差。 直接使用 iterrows() 循环不仅低效，还难以保证向量化逻辑的一致性与可扩展性。
推荐采用纯 pandas 向量化方案，分三步实现：
✅ 步骤一：预采样 —— 每组最多保留 3 条 MAP 记录
先对 MAP 按关键分组列聚合，并对每组随机抽取最多 3 行（若不足 3 行则全取）：
group_cols = ['MANDANT', 'Fachabteilung', 'FACHEXPERTISE'] target_col = 'Leistungsgruppe' # 对 MAP 每组采样最多 3 行（自动处理少于 3 行的情况） sampled_map = MAP.groupby(group_cols)[group_cols + [target_col]].sample(n=3, random_state=42)
?
random_state确保结果可复现；n=3是硬上限，sample()自动适配各组实际行数。
✅ 步骤二：构造对齐键 —— 为 df 中每个 NaN 分配序号
为使填充一一对应，需为 df 中每个缺失值生成一个“第几个空”的序号（按组内顺序）：
# 标记每组内 NaN 的累计序号（0-indexed）
na_rank = df[target_col].isna()
key_df = df.groupby(group_cols)[target_col].apply(
lambda x: na_rank[x.index].cumsum().sub(1) # sub(1) → 0,1,2...
).fillna(-1).astype(int)
✅ 步骤三：精准合并 + 填充
将 df 与 sampled_map 按分组列 + 序号键合并，再用结果填充原缺失值：
# 为 sampled_map 添加组内序号键（0,1,2...）
sample_key = sampled_map.groupby(group_cols).cumcount()
# 左连接：df 的 (group + key_df) ↔ sampled_map 的 (group + sample_key)
fill_series = (
pd.merge(
df[group_cols].assign(_key=key_df),
sampled_map.assign(_key=sample_key),
on=group_cols + ['_key'],
how='left'
)[target_col]
.set_axis(df.index)
)
# 最终填充（仅影响原 NaN 处）
df[target_col] = df[target_col].fillna(fill_series)
⚠️ 注意事项与进阶建议
-
性能提示：上述方法完全向量化，比
iterrows()快 10–100 倍，尤其适用于万级以上数据。 -
超量填充场景：若某分组在
df中缺失值数量 > 3，而你希望循环/随机重用样本（非严格不重复），可改用numpy.random.choice(..., replace=True)配合groupby.transform（见答案中第三种方案）。 -
确定性要求：务必设置
random_state（如sample(n=3, random_state=42)），否则每次运行结果不同，不利于测试与部署。 -
空分组保护：若某分组在
MAP中完全不存在，merge后对应位置仍为NaN—— 可提前用df.groupby(group_cols).ngroup()校验覆盖度，或添加默认值兜底。
该方案兼顾准确性、性能与可维护性，是生产环境中填充结构化缺失值的稳健实践。
