分层采样必须用StratifiedShuffleSplit而非train_test_split,因其显式按类别分布分层,确保训练/测试集各类别比例一致;train_test_split虽支持stratify=y参数,但仅一次性分割且不可复用。

分层采样为什么必须用 StratifiedShuffleSplit 而不是 train_test_split
因为 train_test_split 默认不保证各类别在训练集和测试集中比例一致——尤其当标签分布不均衡或样本量小时,容易出现某类在测试集中完全缺失。而 StratifiedShuffleSplit 显式按 y 的类别分布做分层,是唯一可靠方式(train_test_split 虽有 stratify=y 参数,但它是“一次性分割”,无法复用分割逻辑;StratifiedShuffleSplit 支持迭代、可控、可重复)。
常见错误现象:ValueError: The test_size = ... should be less than the number of samples —— 本质是某类别样本数太少,无法按指定 test_size 分出至少 1 个样本。
- 使用场景:二分类/多分类数据集划分、交叉验证前的固定比例拆分、需要多次生成不同随机划分时
- 关键参数:
n_splits=1(只生成一次划分)、test_size=0.2(20% 测试)、random_state=42(确保可复现) - 性能影响:无额外计算开销,只是索引重排,比手动按类别切片快且安全
StratifiedShuffleSplit 实操:获取训练/测试索引并切分数据
不要直接传 X 和 y 给 .split() 就完事——它只返回索引对,你需要手动用这些索引切分特征和标签。
from sklearn.model_selection import StratifiedShuffleSplit sss = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=42) train_idx, test_idx = next(sss.split(X, y)) # 注意:必须用 next() 取第一次分割 <p>X_train, X_test = X[train_idx], X[test_idx] y_train, y_test = y[train_idx], y[test_idx] </p>
- 必须用
next():因为.split()返回的是生成器,不调用就拿不到索引 - 确保
y是一维数组(如Series或numpy.ndarray),不能是 DataFrame 单列(会报ValueError: Expected 1D array) - 如果
X是 pandas DataFrame,X.iloc[train_idx]更安全;若为 numpy 数组,X[train_idx]即可
类别数量少或样本极度不均衡时的应对措施
当某类别只有 1–2 个样本,test_size=0.2 可能导致该类无法在测试集中分配到样本,触发 ValueError。这不是 bug,而是分层约束的必然结果。
- 检查最小类别频次:
import numpy as np; np.bincount(y),确认每类 ≥ 5 样本(保守起见) - 降低
test_size(如设为0.1)或改用StratifiedKFold做 k 折,避免固定比例硬约束 - 慎用上采样(如
SMOTE)前置处理——它改变原始分布,分层采样意义减弱;如必须用,应在分层后仅对训练集上采样
验证是否真的保持了比例
别信文档,自己算。用 np.unique(y_train, return_counts=True) 和 np.unique(y_test, return_counts=True) 对比各标签计数占比。
from collections import Counter
print("Train:", Counter(y_train))
print("Test: ", Counter(y_test))
# 输出类似:Train: {0: 80, 1: 20}, Test: {0: 20, 1: 5} → 比例都是 4:1,正确
- 注意浮点误差:若原始比例是 0.73,测试集可能为 0.729 或 0.731,属正常(整数截断导致)
- 如果发现某类在测试集中为 0,说明该类总数
(例如test_size=0.2⇒ 至少需 5 个样本)
实际项目里最容易被忽略的是:没检查 y 的数据类型和维度,也没验证分割后的分布——直到模型评估阶段发现测试集漏掉一个类别,才回头排查。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











