drop_duplicates默认按全部列判断重复，需显式指定subset参数按指定列去重；inplace=True在链式操作或视图中不安全，应直接赋值；keep=False会删除所有重复行而非仅后续重复；字符串、时间、浮点列需预处理再去重。
drop_duplicates 默认只按全部列判断重复
很多人一上来就写 df.drop_duplicates()，发现没删掉想要的重复行——因为默认会把整行数据当成一个元组去比对，只要任意一列不同，就不算重复。比如两行只有 id 相同、name 不同，它们不会被识别为重复。
实际中多数需求是“按某几列去重”，比如保留每个 user_id 的第一条记录，就得显式指定：
df.drop_duplicates(subset=['user_id'], keep='first')
-
subset必须是列表，即使只有一列也要写成['col']，不能写成'col' -
keep可选'first'（默认）、'last'或False（全删） - 不传
subset就等于全列参与比较，容易误判或漏删
inplace=True 并不总是安全
加 inplace=True 看似省事，但遇上链式操作会失效，比如 df.drop_duplicates().reset_index(drop=True) 中的 inplace=True 会被忽略；更麻烦的是，如果 df 是另一个 DataFrame 的视图（例如通过切片生成），inplace=True 可能抛出 SettingWithCopyWarning 或静默失败。
稳妥做法是直接赋值：
df = df.drop_duplicates(subset=['order_id'])
- 避免在条件筛选后立刻用
inplace=True，如df[df.status == 'done'].drop_duplicates(inplace=True)—— 这实际操作的是副本，原df毫无变化 - 想确认是否生效，删完立刻检查
len(df)和df.duplicated().sum()
keep=False 会删光所有重复项，包括“首次出现”的那条
文档里写 keep=False 是“删除所有重复项”，但新手常误解为“只删后续重复”。实际上它会把所有在 subset 上值相同的行全部干掉，不留任何一条。
比如三行 user_id=101，keep=False 后这三行全消失，不是留第一行删后两行。
- 真要“只留唯一值（即出现仅一次的行）”，得换思路：
df.groupby('user_id').filter(lambda x: len(x) == 1) -
keep='first'和keep='last'才是日常去重主力，别轻易碰False - 用前先试跑：加
print(df.duplicated(subset=['x']).sum())看重复量级
字符串列含空格或大小写不一致时，drop_duplicates 不识别为重复
drop_duplicates 做的是严格等值比较，'Alice ' 和 'Alice'、'alice' 和 'Alice' 都算不同值。线上数据常有这类脏数据，直接去重会漏掉本该合并的记录。
得提前清洗再调用：
df['name'] = df['name'].str.strip().str.lower()<br>df = df.drop_duplicates(subset=['name', 'email'])
- 注意
.str方法对非字符串列会报错，建议先用select_dtypes(include=['object'])锁定文本列处理 - 时间列如果有
NaT，duplicated()默认把它们全视为相同，可能误删——需要先 fillna 或单独处理 - 数值列存在浮点误差（如
0.1 + 0.2 != 0.3），也得先round()再去重
去重看着简单，真正卡住人的往往是 subset 选得不准、inplace 用得冒进、或者根本没意识到数据本身不干净。动手前花三十秒看一眼 df.head().to_dict('records')，比硬跑十遍 drop_duplicates 更省时间。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
