在机器学习流程中，应在将数据划分为训练集和测试集之前删除重复样本，否则会导致数据泄露、评估失真及模型性能虚高或低估。
在机器学习流程中，应在将数据划分为训练集和测试集之前删除重复样本，否则会导致数据泄露、评估失真及模型性能虚高或低估。
在构建稳健、可复现的机器学习模型时，数据预处理的顺序至关重要。其中，去除重复行（dropping duplicated rows）的时机是一个常被忽视但影响深远的关键步骤。正确的做法是：始终在 train-test 划分之前执行去重操作。
为什么必须在划分前去重？
假设原始数据集包含若干完全相同的样本（即所有特征列及目标变量均一致）。若先调用 train_test_split 再去重，可能出现以下两类严重问题：
数据泄露（Data Leakage）
同一重复样本可能被随机分配至训练集和测试集各一份。此时模型在训练阶段“见过”测试样本的完全相同实例，导致测试准确率虚高——这不是模型泛化能力强，而是评估失效。-
评估偏差（Evaluation Bias）
即使所有重复样本都落入同一子集（如全部进入训练集），它们仍会扭曲模型学习过程：- 训练集中重复样本相当于人为放大了某些样本的权重，使模型过度拟合这些模式；
- 测试集中存在重复样本，则指标（如准确率、F1）会被重复计算，无法反映真实泛化性能。
✅ 正确流程：
加载数据 → 探索性分析（含重复检测）→ 删除重复行（保留首次/最后一次）→ 划分 train/test → 特征工程 → 模型训练与评估
实操示例（Python + pandas）
import pandas as pd
from sklearn.model_selection import train_test_split
# 示例数据（含重复）
df = pd.DataFrame({
'feature1': [1, 2, 1, 3, 2],
'feature2': [5, 6, 5, 7, 6],
'target': [0, 1, 0, 1, 1]
})
print("原始数据形状:", df.shape)
print("重复行数量:", df.duplicated().sum()) # 输出: 2
# ✅ 关键步骤：划分前去重
df_clean = df.drop_duplicates() # 默认保留首次出现的记录
print("去重后形状:", df_clean.shape) # 输出: (3, 3)
# 再进行划分
X = df_clean.drop('target', axis=1)
y = df_clean['target']
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.4, random_state=42
)
⚠️ 注意事项：
- drop_duplicates() 默认基于所有列判断重复；若仅需基于特征列（忽略标签）去重，请显式指定：df.drop_duplicates(subset=['feature1', 'feature2'])；
- 若重复源于数据采集或合并错误，建议结合业务逻辑审查，而非简单删除；
- 对时间序列或带ID的数据，需确认重复是否具有语义意义（如用户多次行为），此时去重需谨慎。
总之，将去重置于数据划分之前，是保障机器学习实验科学性与可信度的基本原则。它不增加复杂度，却能从根本上避免评估污染和模型误导——这是专业建模流程不可妥协的底线。
