如何在Python中利用L1正则化解决线性回归模型的多重共线性？-Python教程-PHP中文网

L1正则化在scikit-learn中对应Lasso类，其通过L1惩罚项自动将部分系数压缩至0，实现特征筛选并缓解多重共线性；需标准化输入、慎用Ridge（仅缩放不置零），推荐LassoCV自动选参。

如何在python中利用l1正则化解决线性回归模型的多重共线性？

L1正则化在scikit-learn中对应哪个类？

直接用 Lasso，不是 Ridge 或 ElasticNet（除非你主动混合L1/L2）。Lasso 的核心就是 L1 惩罚项，能自动把部分系数压缩到 0，从而实现特征筛选——这对缓解多重共线性很关键，因为高度相关的特征里，它通常只保留一个，其余归零。

常见错误是误用 Ridge：它用 L2，只能缩小系数、不能置零，对共线性有抑制但不解决“冗余特征干扰解释性”的问题。

Lasso 默认使用坐标下降法（coordinate_descent），对高维稀疏数据友好
若遇到收敛警告 ConvergenceWarning，优先调大 max_iter（比如设为 2000），而不是盲目调小 alpha
fit_intercept=True 是默认值，但若 X 已中心化，可设为 False 避免重复去均值

alpha 取值太小或太大分别会导致什么？

alpha 控制正则强度：太小 → 几乎没惩罚，系数仍不稳定；太大 → 过度收缩，所有系数趋近于 0，模型欠拟合。多重共线性下尤其敏感——同一组相关特征，alpha 微调可能导致某个系数从 0.15 突然跳到 0，或反过来。

推荐做法是用 LassoCV 自动选参，它默认做 5 折交叉验证，返回使 MSE 最小的 alpha_：

from sklearn.linear_model import LassoCV
lasso_cv = LassoCV(cv=5, alphas=np.logspace(-4, -1, 50))
lasso_cv.fit(X, y)
print("选中的 alpha:", lasso_cv.alpha_)

手动网格搜索时，alphas 建议用对数等间距（np.logspace），而非线性等间距
如果 LassoCV 返回的 alpha_ 接近你设定范围的边界（如最小值），说明需要拓宽 alphas 范围
注意：LassoCV 的 cv 参数若设为整数，用的是 KFold；若数据有时间结构，得换 TimeSeriesSplit

为什么标准化输入变量是必须步骤？

L1 惩罚对特征量纲极度敏感。比如一个特征单位是“万元”，另一个是“百分比”，前者数值天然大几十倍，Lasso 会倾向先压缩后者——这不是统计意义的选择，纯粹是量纲作弊。不标准化，Lasso 的特征筛选结果不可信。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

必须在 Lasso 之前用 StandardScaler（或 scale），且注意：对新样本预测时，要用训练集得到的 scaler 参数做变换，不能重新 fit：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)  # ✅ 训练集 fit+transform
X_test_scaled = scaler.transform(X_test)  # ✅ 测试集只 transform

别用 MinMaxScaler 替代——它不保证零均值，会影响 Lasso 对截距项的处理
如果含哑变量（one-hot 编码后的类别特征），也应参与标准化；虽然它们本就 0/1，但和连续变量混在一起时，尺度差异仍存在
标准化后，Lasso 输出的系数不能直接解释原始单位下的影响大小，需反向换算（但通常我们更关注“是否入选”而非绝对值）

如何确认多重共线性确实被缓解了？

不能只看 R² 或 MSE 提升——那可能是过拟合。重点检查系数稳定性与结构变化：

对比普通线性回归（LinearRegression）和 Lasso 的系数向量：若某组相关特征（如 X1 和 X2）在普通回归中系数符号相反、绝对值接近，但在 Lasso 中一个为 0、另一个显著非零，说明共线性干扰已被打破
用 np.linalg.cond(X_train_scaled) 查条件数：Lasso 本身不改变设计矩阵，但通过筛选特征，后续若重构 X_sub（只保留非零系数列），其条件数应明显下降
留出验证集，反复重采样训练（如 bootstrap），观察非零系数集合是否稳定；若每次选的特征波动很大，说明 alpha 还没调好，或共线性太强，需考虑先做 PCA 或手动剔除高 VIF 特征

真正棘手的情况是：即使用了 Lasso，几个高度相关的特征系数依然轮流非零、震荡出现——这时候 L1 的“任意选择”特性成了弱点，该考虑 ElasticNet（混合 L1/L2）或领域知识驱动的特征合并。