如何用Python实现逻辑回归的L1/L2正则化防止权重过大?

P粉602998670

P粉602998670

2026-08-04

766人浏览

原创

应根据正则类型选择匹配求解器:l1需solver='saga'或'liblinear',l2支持'lbfgs'/'sag'/'saga',elasticnet仅'saga';c越小正则越强,l1产生稀疏解,l2整体收缩;务必标准化特征并调高max_iter防收敛警告。

如何用python实现逻辑回归的l1/l2正则化防止权重过大?

sklearn LogisticRegression 的 penalty 参数怎么选?

penalty 决定用 L1 还是 L2 正则化,但不是所有求解器都支持两者。默认是 'l2',但如果你传 penalty='l1' 却没换求解器,会直接报错 ValueError: Solver lbfgs supports only l2 penalties

  • penalty='l1' 必须搭配 solver='liblinear'(旧版)或 'saga'(推荐,支持多分类和稀疏数据)
  • penalty='l2' 支持 'lbfgs''sag''saga' 等,其中 'lbfgs' 是小数据集的默认首选
  • penalty='elasticnet' 只在 solver='saga' 下有效,且必须显式设 l1_ratio
from sklearn.linear_model import LogisticRegression
# 正确:L1 正则 + saga
lr_l1 = LogisticRegression(penalty='l1', solver='saga', max_iter=1000)
<h1>错误:L1 + lbfgs → 报错</h1><h1>LogisticRegression(penalty='l1', solver='lbfgs')</h1>

C 与正则强度的关系为什么是反直觉的?

C 是正则化强度的倒数 —— 值越小,正则越强,权重越接近零。很多人误以为 C=0.01 是“弱正则”,实际它比 C=1.0 压缩得更狠。

  • C=1e-4:强约束,很多特征系数被压到 0(尤其 L1 下),模型可能欠拟合
  • C=10.0:弱约束,接近无正则,容易过拟合,尤其在高维稀疏数据上
  • 调参时建议用 np.logspace(-4, 4, 10) 扫描,而不是线性网格

注意:C 对 L1 和 L2 的影响方式不同:L1 下 C 小会导致更多系数精确为 0;L2 下则是整体收缩,不会产生稀疏解。

如何验证正则是否起效?

不能只看训练准确率 —— L2 在训练集上可能略降、验证集上反而升,才是正则生效的信号;L1 则要看系数是否变稀疏。

Python 3.14.2
Python 3.14.2

Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本,属于3.14系列的第二个维护更新。该版本包含了18项修复,重点解决了多进程、数据类及正则表达式等模块的回归问题,并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式(移除GIL)正式获得官方支持,是Python发展的重要里程碑。

下载
  • 检查 model.coef_:L1 模型中大量 0.0 元素说明特征被自动筛选
  • 对比不同 C 下的非零系数数量:
    np.count_nonzero(lr<em>l1.coef</em>)
  • 画 validation curve:横轴 np.log(C),纵轴训练/验证得分,观察是否出现“验证曲线先升后降”的典型正则效应

常见陷阱:用 train_test_split 后直接 fit,却没做标准化。L1/L2 都对特征量纲敏感,X 必须先过 StandardScaler,否则数值大的特征会被不公平地惩罚。

L1 vs L2:什么时候该选哪个?

选 L1 不是为了“更酷”,而是有明确目标:可解释性、特征筛选、高维稀疏场景(比如文本 TF-IDF)。

  • L1:适合你想知道“哪些变量真正重要”,结果天然稀疏,coef_ 可直接当特征重要性排序
  • L2:适合防止数值震荡、提升泛化稳定性,尤其当特征间存在多重共线性时,L2 比 L1 更鲁棒
  • 混合需求?用 penalty='elasticnet' + l1_ratio=0.5,但务必配 solver='saga'

真正容易被忽略的一点:L1 的优化路径是非连续的,max_iter 经常不够用,默认 100 太少,小数据也建议设成 1000 或更高,否则 ConvergenceWarning 不是提醒你调 C,是在说“根本没收敛”。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1104

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

2024

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1184

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

8473

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

1429

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

1503

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

859

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

530

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1084

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PyCharm官方快速入门指南
PyCharm官方快速入门指南

共0课时 | 0人学习

Python函数定义官方教程
Python函数定义官方教程

共0课时 | 0人学习

Python 3.14.6官方文档
Python 3.14.6官方文档

共0课时 | 0人学习