gbdt对异常值敏感是因为其残差拟合机制天然赋予异常值高权重，导致后续树持续强化偏差、分裂点被拉偏、特征重要性扭曲，且无内置抗噪机制，需前置清洗。
GBDT对异常值敏感，不是因为它“不喜欢”离群点，而是它的训练机制天然把异常值当成了必须立刻修正的高权重信号。
残差拟合直接放大异常值影响
GBDT每棵树都在拟合当前模型的残差（真实值 − 当前预测值）。如果某个样本真实值是 100，但第一棵树预测了 50，残差就是 +50 —— 这个巨大的残差会被第二棵树当作核心学习目标。后续所有树都会反复强化这个偏差方向，而不是忽略它。
- 异常值产生的残差远超正常样本，分裂节点时梯度统计量（如
mean_gradient）被严重拉偏 - 哪怕只有一两个极端样本，也可能主导某层树的最优切分点，比如在
age 处强行分裂 - 随机森林中这类错误会被其他树平均掉；GBDT里它会成为后续所有迭代的“起点偏移”
没有样本权重重分配，只有无差别残差拟合
对比 AdaBoost：它通过提升误分类样本权重来聚焦难例，但权重调整是有依据、可收敛的；而 GBDT 默认对所有样本一视同仁地计算残差和梯度，异常值只要存在，就自动获得“最高优先级”。sklearn.ensemble.GradientBoostingRegressor 不提供内置的样本加权接口，你得手动传 sample_weight 参数干预，否则模型根本不知道哪个点该被温柔对待。
- 默认训练中，一个
MEDV=50的房价异常值（其余集中在 10–25）会让前几棵树几乎全在拟合它 -
subsample=0.8可缓解，但只是概率性跳过，不能保证每次迭代都避开该样本 - LightGBM/XGBoost 支持
scale_pos_weight或自定义损失函数，但标准 GBDT 没这能力
早停机制救不了已发生的残差污染
early_stopping_rounds 是在验证集指标变差时才触发，但此时训练集上的残差拟合早已层层嵌套。异常值带来的偏差可能在第 3 棵树就固化进结构里，而验证集 AUC/MAE 到第 20 棵才开始下滑 —— 等你停的时候，模型内部已经长出一堆只为那几个异常点服务的叶子节点。
- 用
validation_fraction分出验证集，但异常值若同时出现在训练集和验证集中，早停完全失效 - 残差污染不可逆：没有类似随机森林的“去相关化”机制，无法稀释单点错误
- 真正有效的做法是在
fit()前就用 IQR 或IsolationForest清洗，而不是指望模型自己扛住
最常被忽略的一点：GBDT 的异常值敏感性不会总表现为训练 loss 突增，更多时候它悄悄扭曲特征重要性排序——比如把本不该相关的 ID 字段排进 top3，只因它和那两个异常样本强耦合。清洗不彻底，调参再细也是在修裂缝上的漆。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
