gbdt比单棵决策树更强大，根本原因是通过残差迭代定向修正偏差：每棵树拟合前一轮模型的残差（或损失函数负梯度），实现逐轮动态纠错；必须使用回归树以支持浮点输出累加与学习率缩放，最终经sigmoid/softmax转换为概率。
GBDT比单棵决策树更强大，根本原因不是“树更多”，而是它用残差迭代修正偏差，把弱模型串成强模型——单棵树的系统性误差，被后续树持续追着打。
GBDT每棵树都在拟合前一棵树的残差
单棵决策树靠信息增益或基尼不纯度切分，但它的预测天然带偏差：比如对某类样本整体高估或低估，它不会主动“意识到”自己错在哪。GBDT则强制每棵树只干一件事：fit 上一轮所有样本的残差（y - F_{m-1}(x)）。这个残差就是当前模型最“痛”的地方。
- 第一棵树可能在中年用户身高上平均高估2cm → 残差全是正数
- 第二棵树就专攻“哪些中年用户被高估了”，并在对应叶节点输出负值去抵消
- 第三棵树再拟合剩下没被抵消干净的残差……
这不是简单平均，是定向纠错。你无法靠剪枝或调参让一棵树自己学会这种动态补偿。
为什么必须用回归树，哪怕做分类任务？
分类问题里，GradientBoostingClassifier 内部从不训练分类树。它始终用 DecisionTreeRegressor，目标是拟合损失函数的负梯度——对 log loss 来说，这个梯度是 y - p（真实标签减当前预测概率），本质仍是连续值。
- 若强行用分类树，输出是离散类别（如“点击/不点击”），无法加总、无法缩放学习率
learning_rate - 回归树输出浮点数（如 +0.42 或 -0.18），才能和已有预测累加：
F_m(x) = F_{m-1}(x) + learning_rate * h_m(x) - 最终预测时，再用
sigmoid（二分类）或softmax（多分类）把累加结果转回概率
跳过这一步，整个梯度提升链就断了。
学习率 learning_rate 和树数量 n_estimators 必须配对调
降低 learning_rate（比如从 0.1 降到 0.01）本身不提升效果，反而会让单棵树贡献变小；但它允许你安全地增加 n_estimators（比如从 100 到 1000），从而让残差被更细粒度地拆解。
-
learning_rate=0.1, n_estimators=100≈learning_rate=0.01, n_estimators=1000，但后者通常泛化更好 - 过大的
learning_rate（如 0.5+）容易让早期树“用力过猛”，后面树很难收敛 - sklearn 默认
learning_rate=0.1是保守起点，实际项目中常压到 0.03–0.05，再把n_estimators拉到 300–800
这个权衡没有银弹，但忽略它，模型要么欠拟合（学习率太小+树太少），要么震荡过拟合（学习率太大+树太多）。
单棵树的缺陷，GBDT靠结构设计硬扛
决策树天生怕噪声、对分割点敏感、易过拟合稀疏区域——这些不是参数能完全解决的。GBDT用三重机制缓解：
- 每轮只拟合残差，相当于自动给难样本“提权”：残差大的样本，在下一轮的损失梯度中自然权重更高
- 学习率缩放等效于步长控制，避免某棵树一步跨错导致全局崩盘
- 树深度限制（
max_depth）强制每棵树只学局部模式，把复杂模式拆给多棵树协作完成
真正关键的不是“树多”，而是“每棵树知道自己该补哪块短板”。这点，单棵树连定义都做不到。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
