开启L1正则化需显式设置penalty='l1'及solver='liblinear'或'saga',因其他solver不支持L1;L1可得稀疏解用于特征选择,但须标准化以防量纲影响,且部署时需固化特征掩码以保证列对齐。

用 sklearn.linear_model.LogisticRegression 开启 L1 正则化
默认的 LogisticRegression 用的是 L2 正则(ridge),想得到稀疏解(即自动做特征选择),必须显式指定 penalty='l1' 和优化器 solver='liblinear' 或 'saga'。其他 solver(如 'lbfgs'、'newton-cg')不支持 L1,会直接报错:ValueError: Solver lbfgs supports only 'l2' or 'none' penalties。
实操建议:
-
solver='liblinear'兼容性好,小数据集( -
solver='saga'支持多分类 + L1,且能处理大规模数据,但收敛更慢,需注意max_iter是否足够(默认 100,常需设为 500+); -
C参数控制正则强度:值越小,L1 惩罚越强,系数归零越多——这不是“越大越好”,而是要靠交叉验证调优。
为什么 C 要用 LogisticRegressionCV 而不是手调
L1 正则效果对 C 极其敏感:C=0.1 可能只剩 3 个非零系数,C=0.01 就可能全归零;手动试几个值容易错过拐点,也难判断模型是否过稀疏(特征删多了,性能反而掉)。
推荐直接上 LogisticRegressionCV:
- 它内置了
cv=5的 StratifiedKFold,自动扫C候选集(默认是 10 个对数等距点); - 对二分类,默认用
scoring='accuracy',但若数据不平衡,应显式传scoring='f1'或'roc_auc'; - 注意:它默认
penalty='l2',必须写成LogisticRegressionCV(penalty='l1', solver='saga', ...),否则还是 L2。
检查稀疏性:别只看 .coef_ 形状
.coef_ 是 numpy 数组,即使很多元素为 0,它仍是稠密存储。真正关心的是“有多少特征被踢掉了”,得自己统计:
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限
model = LogisticRegressionCV(penalty='l1', solver='saga', Cs=[0.001, 0.01, 0.1, 1], cv=3)
model.fit(X, y)
n_nonzero = np.count_nonzero(model.coef_[0]) # 二分类时 coef_ 是 (1, n_features)
print(f"保留特征数:{n_nonzero}/{X.shape[1]}")
常见误区:
- 用
np.isclose(model.coef_, 0).sum()不可靠——浮点误差下,L1 解的“零”其实是极小值(如 1e-12),应改用np.abs(model.coef_) > 1e-5判断; - 多分类(
multi_class='ovr')时.coef_形状是(n_classes, n_features),需按行分别统计; - 标准化(
StandardScaler)不是可选操作——L1 对量纲敏感,不标准化会导致量级大的特征更难被压缩为 0。
训练后怎么用留下的特征做新预测
L1 本身不提供“特征掩码”接口,得手动提取:
- 先拿到筛选后的列索引:
mask = np.abs(model.coef_[0]) > 1e-5; - 保存这个
mask(或对应特征名列表),后续新数据必须用相同 mask 截取:X_new_selected = X_new[:, mask]; - 不能直接用原
model.predict(X_new)——如果X_new维度和训练时不一致(比如新增/缺失列),会报ValueError: X has 10 features, but LogisticRegression is expecting 7 features。
真正麻烦的不是拟合,是部署时如何把 “fit 时的 mask” 和 “predict 时的列对齐” 稳定固化下来。用 sklearn.pipeline.Pipeline 包一层 ColumnTransformer 或自定义 selector 会更健壮,但前提是 mask 必须在 CV 过程中就确定下来——而 LogisticRegressionCV 的 mask 在每次 CV 折里都可能不同,这点容易被忽略。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










