基模型相关性高会削弱集成效果，本质取决于犯错独立性；应通过predict_proba计算相关系数（阈值0.85），避免同质化堆叠，优先采用算法多样性与输入扰动提升互补性。
基模型相关性高会导致误差无法抵消
集成效果好坏，本质取决于各基模型犯错的“独立性”。如果多个模型在相同样本上同时出错（比如都把某类边缘样本判错），那投票或平均后错误依然存在——不是“三个臭皮匠顶个诸葛亮”，而是“三个同款臭皮匠一起看走眼”。相关性强意味着它们共享相似的偏差模式，集成后方差下降有限，整体泛化提升自然微弱。
用 predict_proba 看相关性比用预测标签更准
只对比硬预测结果（如 y_pred）会掩盖真实相关性。真正影响集成质量的是模型对每个类别的置信度分布。例如两个 XGBoost 模型在测试集上 y_pred 一致率 92%，但它们的 predict_proba 输出在正类概率上 Pearson 相关系数达 0.96，说明内部决策逻辑高度重合。
- 实操建议：用
numpy.corrcoef计算各模型在验证集上的predict_proba向量（取某一类）之间的相关系数 - 分类任务中，若任意两模型在任一类上的相关系数 > 0.85，就该警惕多样性不足
- 回归任务可直接用
y_pred向量计算相关系数，阈值同样参考 0.85
强行加模型数量反而放大过拟合风险
当基模型同质化严重时，堆更多模型不会带来收益，只会增加推理延迟和内存占用。更危险的是，在 stacking 中，元模型会把高度相关的预测结果当作不同信号来学习，容易拟合噪声而非真实模式。
- 典型现象：加入第4个
LightGBM（仅调参不同）后，验证集 MAE 下降 0.002，但测试集 MAE 上升 0.015 - 解决方向不是“再换一组超参”，而是换原理不同的模型，比如补一个
RidgeClassifier或KNeighborsClassifier - 注意：即使换了算法，若特征工程完全一致（比如全用 PCA 降维到5维），相关性仍可能居高不下
数据扰动比模型扰动更容易打破强相关
相比反复调整同一类模型的超参数，对输入做轻度扰动更能激发差异性。尤其对树模型，特征子集随机化比调 max_depth 更有效；对线性模型，加 0.5% 高斯噪声 比改 alpha 更易产生互补行为。
- 推荐做法：训练每个基模型前，对
X_train随机屏蔽 10% 列（np.random.choice+[:, mask]） - 避免全局标准化后再扰动——标准化本身就会削弱模型对原始尺度的敏感差异
- 慎用 Bootstrap 采样：小数据集下它会让所有树模型看到高度重叠的样本，反而强化相关性
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
