在机器学习流程中，应始终在将数据划分为训练集和测试集之前删除重复行，否则会导致数据泄露、模型评估失真及指标偏差。
在机器学习流程中，应始终在将数据划分为训练集和测试集之前删除重复行，否则会导致数据泄露、模型评估失真及指标偏差。
在构建稳健、可泛化的机器学习模型时，数据预处理的顺序至关重要。其中，去除重复样本（dropping duplicated rows）必须严格发生在数据集划分（train/test split）之前。这是避免数据泄露（data leakage）和确保模型评估真实性的关键步骤。
为什么必须先去重，再划分？
假设原始数据集中存在完全相同的两行（所有特征列 + 目标标签均一致）。若先划分再删重，可能出现以下两种危险情形：
- 跨集重复（最严重）：一条重复样本进入训练集，另一条进入测试集。此时模型在训练阶段“见过”测试样本的完全副本，导致测试准确率虚高——这不是泛化能力的体现，而是过拟合的伪装。
- 单集内重复（仍具危害）：两条重复样本均落入训练集，会人为放大该样本的权重，使模型过度拟合该模式；若均落入测试集，则评估结果对同一案例重复计分，扭曲准确率、F1等指标的统计意义。
✅ 正确流程：
原始数据 → 去重（drop_duplicates()）→ 划分 train/test → 特征工程 → 模型训练与评估
实际代码示例（Pandas）
import pandas as pd
from sklearn.model_selection import train_test_split
# 示例数据（含重复行）
df = pd.DataFrame({
'feature_a': [1, 2, 1, 3, 2],
'feature_b': [4, 5, 4, 6, 5],
'target': [0, 1, 0, 1, 1]
})
print("原始数据形状:", df.shape) # (5, 3)
print("重复行数量:", df.duplicated().sum()) # 2
# ✅ 正确：先去重
df_clean = df.drop_duplicates()
print("去重后形状:", df_clean.shape) # (3, 3)
# 再划分
X = df_clean.drop('target', axis=1)
y = df_clean['target']
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.4, random_state=42
)
⚠️ 注意事项：
- drop_duplicates() 默认基于所有列（含目标变量）判断重复。若业务逻辑允许“特征相同但标签不同”的样本共存（如标注噪声），需谨慎评估是否去重，或仅基于特征列去重（subset=['feature_a','feature_b']）。
- 去重前建议保存原始索引或添加标记列，便于后续溯源分析。
- 若数据来自多源拼接，还应检查是否存在语义重复（如不同ID但实际为同一实体），此时需结合业务规则而非仅依赖全字段匹配。
总之，将去重置于划分之前，是保障机器学习实验科学性与可信度的基础防线——它不增加复杂度，却能从根本上规避评估陷阱。
