Python集成学习技巧_Stacking模型堆叠与投票机制应用-Python教程-PHP中文网

第二层模型最稳妥用LogisticRegression（分类）或Ridge（回归），因其对元特征不敏感、训练快、数值稳定；避免用RandomForest或XGB等易放大误差的非线性模型。

python集成学习技巧_stacking模型堆叠与投票机制应用

直接上结论：用 LogisticRegression（分类）或 Ridge（回归）最不容易翻车。它们对第一层模型的预测结果不敏感，不会放大误差，训练快、数值稳定。

常见错误现象是用 RandomForestClassifier 或 XGBClassifier 做元学习器——表面看 CV 分数高，但线上泛化差，尤其当第一层模型输出有轻微过拟合或相关性时，第二层会“学偏”。

关键就一点：cross_val_predict 能避免数据泄露，fit_predict 在 stacking 里基本不能用。

使用场景很明确：第一层模型的“元特征”必须来自 out-of-fold 预测。如果你用 model.fit(X_train).predict(X_train)，等于让第二层模型看到了自己将要拟合的数据，后续评估完全失真。

cross_val_predict 自动切 fold、训练、预测，返回每个样本对应的“未见过该样本时的预测值”
注意传参：必须用 cv=5 显式指定折数，且和第二层训练用的 CV 策略一致，否则元特征维度对不上
别在 cross_val_predict 里传 estimator 的 fit_params（比如 sample_weight），它不支持；得自己手动实现 stratified k-fold loop
性能影响：比直接 fit_predict 慢 5 倍左右，但这是必须付的代价

当第一层模型差异大、数量少（≤3）、且你没时间调第二层时，VotingClassifier 是更轻量、更鲁棒的选择。

Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖，强化 Python 脚本。

下载

容易踩的坑是以为 “voting = stacking 的简化版”——其实二者假设完全不同：voting 假设各模型独立同分布地犯错，stacking 假设错误之间有结构可学。

硬投票（voting='hard'）只适合基模型本身就很稳定，比如 SVC + RandomForest + LogisticRegression
软投票（voting='soft'）要求所有模型都实现 predict_proba，且概率校准要靠谱；XGBClassifier 默认不校准，得包一层 CalibratedClassifierCV
别把 stacking 的第一层输出再喂给 VotingClassifier——这不是增强，是混淆层级，第二层根本不知道自己在投什么
兼容性提醒：scikit-learn 的 VotingClassifier 不支持 sample weight 传递，如果训练集有严重不均衡，得先重采样或改用 EasyEnsembleClassifier

根本原因：第二层模型（尤其是 LogisticRegression）对输入尺度敏感，而第一层模型输出的概率值范围差异很大（比如 AdaBoost 输出 [0,1]，SVC 输出 decision_function 值可能到 ±100）。

这不是 bug，是设计使然——stacking 本身不保证概率校准，它只优化判别边界。

必须对第一层输出做归一化：用 StandardScaler 或 MinMaxScaler 拟合训练集上的元特征，再 transform 全部数据
第二层别用 CalibratedClassifierCV 包两层——外层校准无法修复内层的系统性偏差，反而增加方差
如果业务强依赖概率（比如风控阈值决策），不如放弃 stacking，直接用 IsotonicRegression 或 PlattScaling 单独校准每个基模型
一个实用检查点：对比 stacking.predict_proba 和 np.mean([m.predict_proba(X) for m in first_level], axis=0)，如果差异超过 0.1，说明第二层在强行“纠正”而非“融合”