voting是直接聚合各模型预测结果的简单集成法，硬投票取众数、不依赖概率，要求基模型输出稳定一致；stacking则通过元模型学习如何最优组合基模型预测，逻辑更复杂、适应性更强。
Stacking 和 Voting 看似都是“把几个模型拼在一起”，但底层逻辑完全不同：Voting 是直接聚合预测结果，Stacking 是让一个新模型去学“怎么组合这些预测”。用错场景，效果可能比单个基模型还差。
硬投票（voting='hard'）只适合基模型本身足够稳定
硬投票本质是取众数——每个模型投一票，得票最多者胜出。它不关心概率、不校准、不加权，所以对基模型的“输出一致性”要求很高。
- 常见错误：把
SVC（默认不带概率）、XGBClassifier（不校准）、DecisionTreeClassifier混搭进VotingClassifier(voting='hard')，结果看似跑通，实则各模型在不同样本上“乱跳”，投票结果抖动剧烈 - 适用组合示例：
RandomForestClassifier+LogisticRegression+SVC(probability=True)—— 三者在多数样本上分类倾向一致，硬投票才有意义 - 注意：如果某个基模型在训练集上准确率
软投票（voting='soft'）必须所有模型都支持 predict_proba 且概率靠谱
软投票对每个类计算平均概率，选均值最大的类。但 predict_proba 返回的不一定是真实概率分布——比如 SVC 默认用 Platt scaling 近似，XGBClassifier 根本不校准。
- 典型报错：
AttributeError: 'XGBClassifier' object has no attribute 'predict_proba'—— 必须显式加CalibratedClassifierCV包一层 - 正确写法示例：
('xgb', CalibratedClassifierCV(XGBClassifier(), cv=3)) - 风险点：哪怕所有模型都有
predict_proba，若未做概率校准（如没用CalibratedClassifierCV或isotonic方法），软投票的“加权”实际是瞎加，可能还不如硬投票
StackingRegressor / StackingClassifier 的第二层不能喂第一层原始特征
Stacking 的核心是“用元特征（meta-features）训练第二层模型”，而元特征只能来自第一层模型的预测输出（如类别标签或概率），绝不能混入原始 X。
- 常见错误：把
StackingClassifier的final_estimator（第二层）换成VotingClassifier，以为“堆叠+投票=更强”——这会让第二层根本不知道自己在学什么，输入是混合了原始特征和预测结果的混乱向量 - 正确做法：第一层输出必须是统一 shape 的预测矩阵（n_samples × n_classes 或 n_samples × n_estimators），第二层只接收这个矩阵
- 性能提示：第二层用
LogisticRegression或RidgeClassifier足够，太复杂的模型（如RandomForest）容易过拟合元特征，反而降低泛化性
Stacking 和 Voting 的数据泄露风险完全不同
Voting 在训练时各模型独立拟合全量训练集，不存在交叉验证强制要求；Stacking 若不设 cv='prefit'，默认用交叉验证生成元特征——这是关键区别。
- 没开 cv 的 stacking（即
cv=None）等价于把训练集原样喂给每个基模型，再用它们在训练集上的预测去训第二层 → 严重过拟合，测试集表现崩塌 - 推荐配置：
StackingClassifier(cv=5, n_jobs=-1)，让每个基模型只看到部分训练样本，确保元特征不“偷看”自己将要预测的样本 - 注意：
VotingClassifier没有cv参数，它天生不防泄露，靠的是基模型本身的鲁棒性来兜底
真正难的不是调通代码，而是判断该用哪个集成路径：当基模型差异大、输出稳定，优先试 voting；当基模型弱但互补、你愿意多花一轮 CV 时间建模误差结构，stacking 才值得投入。别为了“用了高级方法”而忽略最基础的输出一致性与校准问题。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
