在Python中怎样用Scikit-learn实现保序回归Isotonic?

大宇酱_8214

大宇酱_8214

2026-11-22

150人浏览

原创

IsotonicRegression默认拟合单调递增关系,设increasing=False可拟合递减;X需为二维数组,自动排序训练但预测时要求X有序;out_of_bounds控制越界行为,默认返回NaN;无模型参数,训练复杂度O(n log n),预测为分段线性插值。

在python中怎样用scikit-learn实现保序回归isotonic?

怎样用 IsotonicRegression 拟合单调递增/递减关系

保序回归不是“拟合直线”,而是强制模型输出随输入单调变化——比如广告投入越多,预期点击量不能反而下降。Scikit-learn 的 IsotonicRegression 就是干这个的,它不假设函数形式(如线性),只保证预测值序列非减(或非增)。

默认行为是拟合单调递增关系;若想递减,得显式设 increasing=False,而不是靠数据预处理翻转符号——后者会导致 predict() 输出逻辑错乱。

实操建议:

  • X 必须是 1D 数组或列向量(shape = (-1, 1)),传入二维数组(如 np.array([[1], [2]]))没问题,但 np.array([1, 2]) 会报 ValueError: Expected 2D array
  • 训练前无需排序 X,IsotonicRegression 内部会自动按 X 排序并求解保序最小二乘,但预测时要求 X 是已排序的(否则插值结果可能跳变)
  • 若训练数据中存在相同 X 值对应不同 y,模型会取这些 y 的均值作为该点的保序估计值

为什么 predict() 有时返回 NaN 或报错

常见错误是拿训练范围外的 X 直接预测:默认情况下 IsotonicRegression 不外推,超出训练 X 最小值或最大值的输入,predict() 会返回 NaN(不是报错,容易被忽略)。

解决方法只有两个:

  • 初始化时加参数 out_of_bounds="clip":把越界值“夹”到边界上,用最靠近的端点预测值代替
  • 或设 out_of_bounds="raise",让越界直接抛 ValueError,便于调试
  • 注意:out_of_bounds="nan" 是默认值,别以为它会静默外推——它真就返回 NaN

例如:model = IsotonicRegression(out_of_bounds="clip"),再调用 model.predict([0.5, 1.0, 100.0]),其中 0.5 和 100.0 若超出训练 X 范围,就分别取最小/最大预测值。

和线性回归比,IsotonicRegression 有什么实际代价

保序回归牺牲了可解释性和泛化能力,换来的是对单调性先验的严格服从。它没有系数、没有截距,model.coef_ 和 model.intercept_ 都不存在。

Define repeatable Python automation sessions in code with nox
Define repeatable Python automation sessions in code with nox

将测试、lint、构建和文档流程编码为命名的Python会话,以便人类和代理每次运行相同的workflow。

下载

性能方面:

  • 训练复杂度是 O(n log n)(主因是排序),比线性回归 O(n) 稍慢,但对万级样本仍很快
  • 预测是分段常数插值,实际是查找 + 线性插值,速度不输线性模型
  • 内存占用略高:模型保存的是所有去重后的 X 和对应的保序 y(即“拐点”),极端情况(如全相同 X)只剩一个点,但最坏情况保留全部 n 个点

兼容性上,它支持 sample_weight,但不支持 fit_intercept 这类线性模型参数——因为根本没 intercept。

怎么验证保序性是否真正生效

不能只看训练 y 是否单调——那只是数据本身,不代表模型输出单调。关键要检查 model.predict(X_train) 的结果是否非减(或按设定非增)。

简单验证方式:

  • 用 np.all(np.diff(model.predict(X_train)) >= 0) 检查是否非减(increasing=True 时)
  • 若用了 increasing=False,则改用
  • 注意:np.diff 对长度为 1 的数组返回空数组,会恒为 True,所以务必确保训练样本数 ≥ 2

更稳妥的做法是画图:横轴 X_train,纵轴 model.predict(X_train),肉眼确认折线不回头——这是最容易被忽略的一步,尤其当训练数据噪声大、拐点密集时,图上看不清就等于没验证。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1971

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5664

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1929

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

34797

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4047

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4067

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1303

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

636

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3163

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程