重复索引导致df.loc[key]返回多行或报错，因pandas要求索引唯一；drop_duplicates()默认不处理索引，需用df[~df.index.duplicated(keep='first')]显式去重索引。
重复索引导致 df.loc[] 返回多行或报错怎么办？
当 df.index 含重复值时，df.loc[key] 不再返回单行 Series 或 DataFrame，而是返回一个 DataFrame（可能为空、单行或多行），这会直接破坏依赖“唯一索引定位”的下游逻辑。Pandas 2.x 默认不再静默容忍这种行为——比如 df.loc['A'] = value 在重复索引下会抛出 ValueError: cannot set using a list-like indexer with a different length than the value。
最稳妥的做法是先确认是否真需要保留重复索引：
- 如果业务逻辑不依赖索引唯一性（如仅用作标记、后续会重置），直接用
df.reset_index(drop=False)把索引转为普通列，再用df.drop_duplicates()去重 - 如果必须保留索引结构（如时间序列中同一时刻多个观测），改用
df.xs(key, level=0, drop_level=False)替代loc，它对重复索引更鲁棒 - 若必须用
loc写入，先确保目标索引唯一：df = df[~df.index.duplicated(keep='first')]（注意：这会丢数据，慎用）
用 drop_duplicates() 清洗重复索引时为什么没生效？
drop_duplicates() 默认只检查**列值**，对索引完全无感。即使你写了 df.drop_duplicates()，重复的 df.index 依然原样保留。
正确做法分两步：
- 检测重复索引：
df.index.duplicated().any()返回True即存在重复 - 按索引去重：
df[~df.index.duplicated(keep='last')]——keep可选'first'、'last'或False（全删） - 想保留某列最新值？先排序再去重：
df.sort_values('timestamp').drop_duplicates(subset=['id'], keep='last')，但注意这和索引去重是两回事
Pandas 2.x 中 df.groupby(level=0) 和 df.groupby(df.index) 行为有差异吗？
有，且关键区别在于性能与语义清晰度。在 Pandas 2.x 中，df.groupby(level=0) 明确按第 0 级索引分组，支持 MultiIndex；而 df.groupby(df.index) 实质是把整个索引对象当作分组键，对重复索引会自动合并相同值——但若索引含未哈希类型（如 list、dict），会直接报 TypeError: unhashable type。
实操建议：
- 优先用
df.groupby(level=0)，尤其处理重复索引时更稳定 - 需要聚合后保留原始索引结构？加
group_keys=False：df.groupby(level=0, group_keys=False).apply(lambda x: x.head(1)) - 避免
df.groupby(df.index)—— 它在重复索引下可能触发隐式去重，掩盖数据问题
重设索引时 df.set_index('col', drop=True, append=False) 的陷阱
这个组合看似安全，但若原 DataFrame 已有非唯一索引，且 'col' 本身也含重复值，set_index() 会生成双重重复索引（原索引 + 新列），后续所有基于索引的操作都可能崩。
清洗阶段务必前置校验：
- 检查目标列唯一性：
df['col'].is_unique（返回False就别硬设） - 允许重复但需保留顺序？用
df.assign(idx=range(len(df))).set_index('idx')强制生成唯一整数索引 - 想用复合索引防冲突？
df.set_index(['col', 'timestamp'], drop=True)，但需确认组合唯一
重复索引不是“脏数据”而是“歧义信号”——它暴露的是业务建模时对主键定义的模糊。清洗动作本身不难，难的是判断该删、该合、还是该升维。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
