drop_duplicates需用subset指定列去重，默认保留首次出现行；不赋值或inplace=true则原数据不变；nan默认视为相同，多列去重前须统一数据类型与列名格式。
用 drop_duplicates 按指定列去重，保留第一个出现的行
默认情况下，drop_duplicates 会检查所有列是否完全相同，但你通常只想看某几列（比如 'user_id' 或 'email'）有没有重复。这时候必须用 subset 参数明确指定列名，否则可能删掉本不该删的行。
常见错误是直接调用 df.drop_duplicates() 后发现数据变少了，但看不出哪几行被当成了重复——其实是因为其他辅助列（比如时间戳、日志ID）不同，导致整行没被识别为重复。
-
subset=['user_id']：只对比user_id列，相同就视为重复 -
keep='first'（默认值）：保留第一次出现的那行，后续重复行删除 -
keep='last'：保留最后一次出现的，适合想留最新记录的场景 -
keep=False：把所有重复行全删掉，包括第一次出现的（慎用）
drop_duplicates 不修改原 DataFrame，得手动赋值或加 inplace=True
很多人运行完 df.drop_duplicates(subset=['email']) 发现 df 没变，因为这个方法默认返回新 DataFrame，原数据不动。不赋值就等于白跑。
两种写法都行，但推荐显式赋值，避免副作用：
-
df = df.drop_duplicates(subset=['email'])（更清晰，推荐） -
df.drop_duplicates(subset=['email'], inplace=True)（老写法，容易在链式操作中出错）
注意：inplace=True 在较新 Pandas 版本里已被标记为 deprecated，未来可能移除。
空值（NaN）在 drop_duplicates 中默认被视为相同
如果去重列里有 NaN，Pandas 默认把所有 NaN 当作相等处理——也就是说，多行都是 NaN，只会留一个。这不一定符合你的业务逻辑。
比如用户注册时邮箱为空，你可能希望每个空邮箱都算独立记录。这时不能靠 drop_duplicates 直接解决，得先处理空值：
- 用
fillna()统一替换为某个占位符（如'MISSING_EMAIL'），再调用去重 - 或者先用布尔索引分离出非空行和空行，分别处理
- 别依赖
na_sentinel这类参数——drop_duplicates根本没有这个参数，网上有些教程是混淆了其他函数
按多列组合去重时，顺序和类型要一致
写 subset=['city', 'age'] 和 subset=['age', 'city'] 效果一样，但要注意两列的数据类型是否对齐。比如 age 是字符串型 '25' 而不是整数 25，会导致本该重复的行被当成不同。
另一个易错点：列名大小写或空格没清洗干净，例如 'Email ' 和 'email' 被当两列处理。建议去重前先统一列名：
df.columns = df.columns.str.strip().str.lower()- 检查重复前用
df.duplicated(subset=['col1', 'col2']).sum()看有多少待删行 - 用
df[df.duplicated(subset=['col1', 'col2'], keep=False)]把所有重复块拉出来人工核对
真正麻烦的不是语法，是搞不清“重复”到底由谁定义——业务上认为重复的，数据里未必真长得一样。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
