欠拟合表现为训练集和验证集误差均高，模型无法捕捉数据基本规律；应优先增强模型表达能力，如特征升维、引入交互项或改用决策树，而非直接上复杂集成模型。
欠拟合的典型表现：训练集和验证集误差都高
模型在训练数据上就拟合不好，比如线性回归跑完 R² 只有 0.3，预测值明显偏离真实趋势线——这不是过拟合，是根本没学到规律。这时候加数据量往往无效，核心得改模型表达能力。
常见错误现象：LinearRegression 在非线性数据上残差图呈明显弧形；train_score 和 val_score 都低且接近，说明模型容量不足。
- 先确认是不是真欠拟合：画出训练集上的真实值 vs 预测值散点图，如果连训练集都“穿不过去”，别急着调参，先升维或换模型
- 别一上来就换
RandomForestRegressor或XGBRegressor：它们虽强，但可能掩盖特征工程问题，也更难 debug - 检查是否漏了关键交互项，比如
age * income对消费预测可能比单个变量更有解释力
用 PolynomialFeatures 扩维前必须标准化
多项式扩维会把原始特征的量纲差异急剧放大，比如 income=50000 平方后变成 2.5e9，而 age=35 平方才 1225，梯度下降直接发散，LinearRegression 系数爆炸。
使用场景：你已有明确物理/业务意义的连续变量（如温度、时间、尺寸），且怀疑存在平方、立方效应。
- 顺序不能错：必须
StandardScaler→PolynomialFeatures→ 拟合，反过来会导致PolynomialFeatures把缩放后的数值再平方，失去可解释性 -
degree=2是安全起点，degree=3容易让特征数爆炸，尤其当原始特征 >5 个时，n_features=10会生成220+项（组合+交叉） - 慎用
interaction_only=True：它只保留交叉项（如x1*x2），不保留平方项（x1**2），但很多物理过程本身含二次衰减，该选项会漏掉关键结构
换非线性模型时，优先试 DecisionTreeRegressor 而不是集成树
欠拟合时，比起堆砌复杂模型，更需要一个能快速暴露“哪里学不会”的诊断工具。DecisionTreeRegressor 不需要调太多超参，max_depth=3 就能看出分裂逻辑是否合理；而 RandomForest 的黑箱特性反而会掩盖底层特征有效性问题。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
性能影响：单棵决策树训练极快，适合快速验证非线性假设；但深度过大（max_depth > 10）会开始过拟合训练集，此时 train_score 显著高于 val_score，就说明已从欠拟合滑向过拟合。
- 先固定
max_depth=3，看验证集误差是否明显下降；若仍高，说明特征本身信息不足，该回头检查数据采集或业务逻辑 - 避免直接上
kernel='rbf'的SVR：它对参数敏感（C,gamma），小数据下容易训崩，报ConvergenceWarning或直接返回全零预测 -
MLPRegressor不是首选：默认 100 个隐层节点在小样本下极易震荡，且 loss 曲线不平滑，难判断是欠拟合还是优化失败
验证是否真解决欠拟合：看训练误差下降 + 残差分布变随机
很多人只盯着验证集分数提升，却忽略训练误差是否同步下降。如果 train_score 没起色，只是 val_score 偶然变好，大概率是验证集太小或划分有偏，不是模型真变强了。
容易踩的坑：cross_val_score 默认用 cv=5，但在样本量
- 画残差图（
y_true - y_predvsy_pred）：欠拟合时残差呈 U 形或倒 U 形；解决后应趋近水平带状分布 - 对比扩维前后同一训练集的
mean_squared_error：下降 >15% 才算有效，否则可能是噪声拟合 - 别迷信 R²：当真实关系是周期性的（如日销量含周周期），
R²可能卡在 0.6 上不去，但残差频谱分析能看到主频峰被抑制，这才是实质改善
最常被忽略的一点：多项式特征和树模型对异常值极度敏感，扩维前务必用 IsolationForest 或 Z-score 过滤离群点，否则一个 income=1e7 样本就能让整个二次项系数失真。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
