本文介绍如何在 pandas 中对按用户分组的数据进行智能填充（前向填充非重复有效值）并去重，同时保留同一用户下因某列存在多个不同值而需拆分为多行的逻辑，确保字段组合的一致性。
本文介绍如何在 pandas 中对按用户分组的数据进行智能填充（前向填充非重复有效值）并去重，同时保留同一用户下因某列存在多个不同值而需拆分为多行的逻辑，确保字段组合的一致性。
在实际数据分析中，常遇到类似“稀疏堆叠”的原始数据：同一用户的信息分散在多行，各列存在空缺（如 NaN 或空字符串），且某些列（如 col2）对同一用户有多个有效取值。目标不是简单地聚合或取首个值，而是生成所有语义一致的完整记录组合——即保持字段间的原始配对关系（如 B 与 C 原本同属一行，D 单独出现，则最终应生成 (A, B, C) 和 (A, D, C) 两行，而非 (A, B, C) 和 (A, D, NaN)）。
核心思路是：对每个用户组内每列独立处理——先屏蔽重复值（保留首次出现的有效值），再按“是否为缺失”排序（使非空值优先靠前），最后前向填充（ffill）以补全该列在组内的所有行；最后全局去重即可得到最小完备行集。
以下是完整实现代码（假设原始 DataFrame 已正确加载，空值为 NaN）：
import pandas as pd
import numpy as np
# 示例数据（注意：空字符串需先转为 NaN）
df = pd.DataFrame({
'user': ['a', 'a', 'a', 'b', 'b', 'b'],
'col1': ['X', np.nan, np.nan, 'A', np.nan, np.nan],
'col2': [np.nan, 'Y', np.nan, np.nan, 'B', 'D'],
'col3': [np.nan, np.nan, '6', np.nan, 'C', np.nan]
})
# 关键步骤：分组 + 变换 + 填充 + 去重
out = (df.set_index('user')
.groupby('user')
.transform(lambda x: x.mask(x.duplicated()).sort_values(key=pd.isna).ffill())
.reset_index()
.drop_duplicates(ignore_index=True)
)
print(out)
输出结果为：
user col1 col2 col3 0 a X Y 6 1 b A B C 2 b A D C
✅ 关键点解析：
- x.mask(x.duplicated())：对每列内重复值（含 NaN）打掩码，仅保留每组中首次出现的有效值（NaN 视为可重复，不触发掩码）；
- .sort_values(key=pd.isna)：将 NaN 排至末尾，确保有效值前置，为 ffill() 提供合理顺序；
- .ffill()：在组内向前填充，使该列所有行均被首个有效值覆盖（如 col1 的 'A' 填满 b 组全部三行）；
- 最后 drop_duplicates() 消除因填充后产生的完全重复行（如 b 组若 col3 全为 'C'，则 col2 的 'B' 和 'D' 将自然产生两行差异，无需额外展开）。
⚠️ 注意事项：
- 输入数据必须已按 'user' 排序（题干已满足），否则 groupby 分组逻辑无误，但 transform 内部行为仍可靠；
- 若原始空值为字符串 '' 而非 NaN，请预先统一转换：df = df.replace('', np.nan)；
- 如需保留部分字段的原始缺失状态（例如：仅当某行所有字段均为 NaN 时才丢弃），可改用 dropna(how='all') 替代最终去重，但需配合移除 ffill()（见答案中的 EDIT 部分）；
- 此方法天然支持任意数量的特征列，无需硬编码列名。
该方案兼顾准确性与可扩展性，是处理“用户级稀疏表单数据归一化”的典型范式。
