lasso和elasticnet比ridge更适合高维小样本，因其l1正则可实现特征筛选、提升解释性；实操需标准化、调大alpha、用重复交叉验证，并优先结合特征工程降维。
为什么Lasso和ElasticNet比Ridge更适合高维小样本
高维小样本（比如1000个特征、50个样本）下，普通线性回归会严重过拟合，Ridge虽然能压系数但不稀疏，模型解释性差且可能保留大量无关特征。Lasso和ElasticNet通过L1正则强制部分coef_为0，天然做特征筛选，更适配“特征远多于样本”的场景。
实操建议：
- 优先用
ElasticNet（兼顾L1+L2），尤其当存在高度相关特征时——Lasso容易随机选一个而丢掉另一个，ElasticNet更稳定 -
alpha要调得相对大（如0.1–10），因为样本少，正则需更强；可用ElasticNetCV自动搜最优alpha和l1_ratio - 别忽略
fit_intercept=False的潜在影响：若特征已中心化（如用StandardScaler预处理），关掉截距可避免冗余自由度
标准化不是可选项，而是必须前置步骤
高维下各特征量纲差异大，不标准化会导致L1/L2正则对不同特征施加不等强度惩罚，Lasso可能错误地把大尺度特征的系数全压到0，而放过真正重要的小尺度特征。
常见错误现象：ElasticNet训练后model.coef_几乎全为0，或重要特征系数被意外清零。
正确做法：
- 必须用
StandardScaler（非MinMaxScaler）——L1/L2正则依赖系数绝对值，标准差归一更合理 - 注意
fit_transform()只对训练集调用，测试集用transform()，否则造成数据泄露 - 如果含类别型变量，先用
OneHotEncoder转成数值再标准化，不能直接丢进StandardScaler
交叉验证必须用分层+重复抽样，避免CV结果失真
小样本下，普通5折CV可能某折只剩1–2个正样本，导致mean_squared_error或roc_auc_score波动极大，选出的alpha不可靠。
实操建议：
- 用
RepeatedStratifiedKFold（分类）或RepeatedKFold（回归），重复5–10次，每次5折，取平均得分 - 传给
ElasticNetCV时显式指定cv=RepeatedKFold(n_splits=5, n_repeats=5)，别依赖默认 - 若样本极不平衡（如阳性仅5例），改用
StratifiedShuffleSplit确保每折阳性比例一致
特征工程比调参更能缓解过拟合
在n≪p场景下，光靠正则不够——1000维里混着噪声、冗余、共线性特征，正则只是“压系数”，不如提前砍掉无效维度。
有效手段：
- 先用
VarianceThreshold去掉方差为0或极低的特征（如99%样本值相同） - 再用
SelectKBest(score_func=f_classif, k=50)（分类）或f_regression（回归）筛出与目标最相关的前50维 - 最后才喂给
ElasticNetCV——此时alpha搜索空间更小，模型更稳 - 警惕
PCA：它最大化方差而非预测能力，降维后可能丢掉对y最关键的方向，慎用
真正难的是判断哪些特征该留——有时业务知识比统计指标更可靠，比如基因表达数据中某个通路的全部基因，即使单个f_classif分数不高，也值得整体保留。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
