在机器学习数据预处理中，应始终在将数据划分为训练集和测试集之前删除重复行；否则会导致数据泄露、模型评估失真，甚至指标虚高或虚低。
在机器学习数据预处理中，应始终在将数据划分为训练集和测试集之前删除重复行；否则会导致数据泄露、模型评估失真，甚至指标虚高或虚低。
重复样本（duplicated rows）是数据质量中的关键隐患。若在划分数据集之后再执行去重操作，极易引发严重问题：例如，某条重复样本的两个副本可能被随机分配至训练集和测试集——这实质上构成了数据泄露（data leakage），使模型在测试阶段“提前见过”待预测样本，导致评估结果严重乐观、泛化能力被高估。
更隐蔽的风险在于：即使所有重复样本都落入同一子集（如全部进入训练集），仍会扭曲模型学习过程。模型会过度拟合这些高频样本，降低对真实分布的代表性；同时，在评估时，若测试集中存在重复样本，其预测得分会被重复计入指标（如准确率、F1），造成统计偏差——预测效果好则指标虚高，差则被放大惩罚。
✅ 正确做法：在任何数据划分（如 train_test_split）前完成去重：
import pandas as pd
from sklearn.model_selection import train_test_split
# 假设 df 是原始数据集（含特征与标签）
df_clean = df.drop_duplicates() # 全局去重（默认所有列参与判断）
# 确保去重后仍保留合理样本量
print(f"原始样本数: {len(df)}, 去重后: {len(df_clean)}")
# 再进行划分
X = df_clean.drop('target', axis=1)
y = df_clean['target']
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y
)
⚠️ 注意事项：
- 若业务场景中重复具有实际意义（如用户多次行为记录），应先明确去重逻辑（如按ID保留最新/最早记录），而非简单调用 drop_duplicates()；
- 去重前建议检查是否包含无关列（如时间戳、日志ID），避免因噪声列导致本应相同的样本被误判为不同；
- 可结合 subset 参数指定关键特征列去重（如 drop_duplicates(subset=['feature_a', 'feature_b'])），提升语义合理性；
- 去重后务必验证标签分布一致性（尤其分类任务），防止意外丢失某一类样本。
总之，去重是数据清洗的前置步骤，必须严格置于数据集划分之前——这是保障模型可信评估与稳健部署的底线原则。
