learning_curve通过训练集和验证集得分趋势诊断偏差方差：训练分高、验证分低且提升缓慢为高方差（过拟合）；两者均低且接近为高偏差（欠拟合），需合理设置train_sizes、cv和scoring。
怎么用learning_curve看偏差和方差问题
直接看训练集和验证集的得分差异趋势，比单独看最终准确率更有诊断价值。当训练得分高但验证得分低且随样本量增加缓慢提升，说明高方差（过拟合）；当两者都低且接近，说明高偏差（欠拟合）。
关键不是画图，而是设置合理的train_sizes和交叉验证折数：
- train_sizes建议用np.linspace(0.1, 1.0, 10)，避免首点太小导致方差爆炸
- cv=5比cv=3更稳定，尤其样本少时
- 必须传scoring='neg_mean_squared_error'这类可排序指标，不能用'accuracy'在回归任务中
为什么validation_curve比手动调参更适合诊断偏差-方差
它固定训练集大小，只扫超参（如max_depth、C），能清晰暴露模型复杂度与泛化误差的关系。手动调参容易漏掉“拐点”——即验证得分开始下降的位置，那正是方差急剧上升的临界点。
常见陷阱：
- 用param_range跨度太大（比如[1, 10, 100]），会跳过关键转折区间
- 忘记对数刻度：树模型的max_depth、SVM的C通常需用np.logspace(-3, 3, 10)
- 没标准化参数范围：不同算法的同一参数物理意义不同，validation_curve结果不可跨模型横向比较
sklearn.model_selection里哪些函数不能直接用于偏差-方差分解
cross_val_score和GridSearchCV只返回平均分，丢失了偏差/方差所需的方差信息（比如各折得分的标准差）。真正需要的是每折的原始预测值或得分。
替代方案：
- 用cross_val_predict拿到所有样本的预测值，再手动算偏差（预测均值 vs 真实值）和方差（预测值离散程度）
- 或用cross_val_score配合return_train_score=True，至少拿到训练/验证双曲线
- 别碰RandomizedSearchCV做诊断——采样随机性会污染方差估计
实际项目中容易被忽略的预处理影响
偏差-方差分析必须在完整pipeline里做，否则结论失效。比如没在learning_curve里嵌入StandardScaler，线性模型会因特征尺度失衡表现出虚假的高偏差。
正确做法：
- 把预处理器和模型一起放进Pipeline，再传给learning_curve
- 避免先fit-transform再调用learning_curve——那样训练集划分前就泄露了全局统计量
- 分类任务中，stratify=y必须设，否则小样本阶段类别分布偏移会放大方差
偏差-方差分析本身不输出“该调哪个参数”，它只告诉你问题类型；真正要动手改，得回到validation_curve扫具体超参，或者换模型族（比如从线性回归切到随机森林）。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
