stacking的核心是训练元模型学习如何组合基模型输出，而非简单平均；需用交叉验证生成out-of-fold预测作为meta-feature，确保维度对齐与数据不泄露。
Stacking 的核心不是“堆叠模型”，而是训练一个元模型来学“怎么组合”
很多人误以为 Stacking 就是把几个模型的预测结果简单平均或拼接，其实关键在第二层——用真实标签训练一个新模型（meta-model），让它学会从基模型的输出中提取有效模式。如果跳过这一步，直接用 np.mean() 或硬投票，就只是 ensemble，不是真正的 stacking。
常见错误现象：ValueError: Number of classes in y_true != number of classes in y_pred，多出现在分类任务中 meta-model 输入维度没对齐（比如基模型输出概率 shape 是 (n_samples, n_classes)，但 meta-model 误用了 predict() 而非 predict_proba()）。
- 回归任务：基模型输出必须是 shape
(n_samples,)；meta-model 输入就是这些标量拼成的(n_samples, n_base_models) - 二分类：强烈建议所有基模型用
predict_proba()[:, 1]输出正类概率，统一为一维向量，避免 meta-model 输入维度混乱 - 多分类：用
predict_proba()，保留完整(n_samples, n_classes)，meta-model 输入 shape 变为(n_samples, n_base_models * n_classes)
sklearn 的 StackingClassifier 和 StackingRegressor 已经封装好，但默认参数容易翻车
它们自动做交叉验证生成 meta-features，这点很关键——避免数据泄露。但默认用 cv=5 且不 shuffle，遇到时序或分布倾斜数据会出问题。
实操建议：
- 务必显式传入
cv=StratifiedKFold(n_splits=5, shuffle=True, random_state=42)（分类）或KFold（回归），尤其当训练集小或类别不均衡时 -
final_estimator别用太复杂的模型（比如默认的LogisticRegression对于高维 meta-feature 可能欠拟合），换成RandomForestClassifier或轻量级XGBClassifier更稳 - 基模型列表里不要包含和
final_estimator同类型的模型（比如 final 是XGBClassifier，基模型里再放一个 XGBoost，容易过拟合且提升有限）
手动实现 stacking 才能真正控制 meta-feature 构建过程
官方 API 灵活性有限，比如你想用部分样本训练基模型、另一部分生成 meta-feature，或者对不同基模型使用不同 CV 策略，就必须手写。
关键步骤：
- 用
cross_val_predict(..., cv=..., n_jobs=-1)生成每个基模型的 out-of-fold 预测（这是 meta-feature 的唯一合法来源） - 确保所有基模型都 fitted 一次（用全部训练数据），用于后续 inference；但 meta-feature 只来自 cross_val_predict，绝不直接用
model.predict(X_train) - 拼接 meta-feature 时检查 shape：用
np.column_stack()比np.hstack()更安全，自动适配一维数组 - 测试阶段：对每个基模型调用
predict_proba(X_test)，再喂给训练好的 meta-model —— 这步不能漏，也不能错顺序
Stacking 不一定比单模型强，尤其当基模型性能差异小或高度相关时
如果你的 RandomForest、ExtraTrees、GradientBoosting 在验证集上 RMSE 都在 0.82±0.01 范围内，stacking 很可能只带来 0.002 提升，甚至因 meta-model 过拟合而倒退。
判断是否值得投入 stacking 的信号：
- 各基模型 error pattern 明显不同（比如一个在低值区误差大，另一个在高值区误差大）
- 基模型类型差异大：树模型 + 线性模型 + SVM + NN，比全是树模型更可能见效
- 你有足够数据支撑两层训练（meta-model 至少需要几百个样本，否则
cross_val_predict生成的 meta-feature 噪声太大）
最容易被忽略的一点：stacking 的推理延迟是基模型之和再加 meta-model，线上服务慎用；离线批量预测才最受益。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
