为什么Python的时序移动平均计算在遇到缺失值时会失真?

老明君_6821

老明君_6821

2026-11-01

269人浏览

原创

pandas rolling().mean() 遇 NaN 默认整窗返回 NaN,非跳过;设 min_periods=1 后仍以有效值个数为分母,易放大噪声;必须先清理或插值缺失及 inf/-inf,再滚动计算。

为什么python的时序移动平均计算在遇到缺失值时会失真?

rolling().mean() 遇到 NaN 就失效,不是“跳过”,是整窗归零

很多人以为 pandas.Series.rolling().mean() 和 s.mean(skipna=True) 一样会自动忽略 NaN,其实不然:只要窗口内任意一个值是 NaN,默认就返回 NaN(除非显式设 min_periods=1)。这不是计算失真,是直接中断——结果序列里会突然冒出一长串 NaN,尤其在缺失集中区域,平滑线直接断掉。

更隐蔽的问题是:即使你加了 min_periods=1,rolling().mean() 仍按“非空值个数”做分母。比如窗口大小为 7,其中 5 个是 NaN、2 个是有效数,它就用这 2 个数的均值填进去——这本质是用极小样本代表局部趋势,噪声放大而非抑制。

  • 必须先清理或填充缺失,再调 rolling();不能指望它“内部处理”
  • min_periods 不是容错开关,而是控制“最少几个非空值才计算”,设太低等于放任低置信度结果混入
  • 若原始索引是 DatetimeIndex,优先用 rolling('7D') 而非 rolling(7),避免因采样不均导致窗口实际时间跨度漂移

time-based rolling 对不等距时间戳也救不了 NaN

有人尝试改用时间偏移写法,比如 df['value'].rolling('7D').mean(),以为能绕过行数问题。但只要数据里存在 NaN,该窗口内哪怕只有一条 NaN,结果仍是 NaN——时间窗口只是改变了滚动逻辑,没改变聚合函数对缺失的默认行为。

而且,如果缺失发生在时间密集区(如高频传感器每秒一条,连续丢 10 秒),rolling('7D') 可能吞掉几百条真实数据来凑满窗口,反而加剧滞后;而 rolling(7) 又因中间断层直接产出 NaN。两种写法在缺失面前都不可靠。

  • 先用 df.dropna(subset=['value']) 或 df['value'].interpolate(method='time') 补全,再 rolling
  • 补全后检查是否仍含 inf/-inf:df['value'].replace([np.inf, -np.inf], np.nan).dropna()
  • 别依赖 fillna(method='bfill') 填滚动结果——它只补末端,不解决窗口内缺失导致的中间断层

用 median() 替代 mean() 也不能绕过 NaN 陷阱

知道 mean() 对异常值敏感,就换 median()?注意:rolling().median() 同样受 NaN 控制逻辑支配:窗口内有 NaN,默认返回 NaN;设了 min_periods 后,它只对非空值排序取中位,但若非空值太少(比如 7 窗口中只剩 2 个数),中位数就退化成其中一个数,失去统计意义。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载

更关键的是:中位数抗异常值,但不抗缺失模式。比如设备断连导致连续 5 分钟无数据,插值后若用 median(),那段平缓过渡区会被压成一条直线,掩盖真实波动节奏。

  • median() 的优势只在窗口内有少量离群点 + 充足有效样本时成立
  • 若缺失率 > 5%,median() 输出的“稳定值”其实是数据稀疏性的假象
  • 真正需要的是先识别缺失类型(块缺失?随机缺失?)再决定补法,而不是寄希望于聚合函数自愈

滚动计算前漏掉无穷值,比 NaN 还危险

inf 和 -inf 不会被 skipna=True 自动跳过,rolling().mean() 遇到它们会直接返回 inf 或 nan(取决于运算规则),且这种错误结果看起来“很合理”——不像 NaN 那样扎眼,容易在后续建模中静默污染特征。

典型场景是除零或对数变换后残留的无穷:比如某天销量为 0,做 np.log(sales) 得到 -inf,接着做 rolling(7).mean(),结果整个窗口被拖向负无穷,但绘图时可能只显示为一条贴底直线,误判为“超低水平”,而非计算崩溃。

  • 务必在 rolling 前执行:df['value'] = df['value'].replace([np.inf, -np.inf], np.nan)
  • 之后立刻跟 df['value'].isnull().sum() 确认是否还有残留
  • 不要依赖 pd.options.mode.use_inf_as_na = True——它仅影响 read_csv 等 IO 操作,不作用于计算链中的中间结果

真实项目里,最常被跳过的一步是「确认缺失是否已物理消除」:画出原始序列 + isnull() 掩码图,比任何参数调试都管用。一旦发现补全后的序列仍有零星 NaN 或 inf,rolling 就不可能稳定。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1851

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4964

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1789

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

29777

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3547

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3567

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1223

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

616

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2763

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习