pandas rolling().mean() 遇 NaN 默认整窗返回 NaN,非跳过;设 min_periods=1 后仍以有效值个数为分母,易放大噪声;必须先清理或插值缺失及 inf/-inf,再滚动计算。

rolling().mean() 遇到 NaN 就失效,不是“跳过”,是整窗归零
很多人以为 pandas.Series.rolling().mean() 和 s.mean(skipna=True) 一样会自动忽略 NaN,其实不然:只要窗口内任意一个值是 NaN,默认就返回 NaN(除非显式设 min_periods=1)。这不是计算失真,是直接中断——结果序列里会突然冒出一长串 NaN,尤其在缺失集中区域,平滑线直接断掉。
更隐蔽的问题是:即使你加了 min_periods=1,rolling().mean() 仍按“非空值个数”做分母。比如窗口大小为 7,其中 5 个是 NaN、2 个是有效数,它就用这 2 个数的均值填进去——这本质是用极小样本代表局部趋势,噪声放大而非抑制。
- 必须先清理或填充缺失,再调
rolling();不能指望它“内部处理” -
min_periods不是容错开关,而是控制“最少几个非空值才计算”,设太低等于放任低置信度结果混入 - 若原始索引是
DatetimeIndex,优先用rolling('7D')而非rolling(7),避免因采样不均导致窗口实际时间跨度漂移
time-based rolling 对不等距时间戳也救不了 NaN
有人尝试改用时间偏移写法,比如 df['value'].rolling('7D').mean(),以为能绕过行数问题。但只要数据里存在 NaN,该窗口内哪怕只有一条 NaN,结果仍是 NaN——时间窗口只是改变了滚动逻辑,没改变聚合函数对缺失的默认行为。
而且,如果缺失发生在时间密集区(如高频传感器每秒一条,连续丢 10 秒),rolling('7D') 可能吞掉几百条真实数据来凑满窗口,反而加剧滞后;而 rolling(7) 又因中间断层直接产出 NaN。两种写法在缺失面前都不可靠。
- 先用
df.dropna(subset=['value'])或df['value'].interpolate(method='time')补全,再 rolling - 补全后检查是否仍含
inf/-inf:df['value'].replace([np.inf, -np.inf], np.nan).dropna() - 别依赖
fillna(method='bfill')填滚动结果——它只补末端,不解决窗口内缺失导致的中间断层
用 median() 替代 mean() 也不能绕过 NaN 陷阱
知道 mean() 对异常值敏感,就换 median()?注意:rolling().median() 同样受 NaN 控制逻辑支配:窗口内有 NaN,默认返回 NaN;设了 min_periods 后,它只对非空值排序取中位,但若非空值太少(比如 7 窗口中只剩 2 个数),中位数就退化成其中一个数,失去统计意义。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限
更关键的是:中位数抗异常值,但不抗缺失模式。比如设备断连导致连续 5 分钟无数据,插值后若用 median(),那段平缓过渡区会被压成一条直线,掩盖真实波动节奏。
- median() 的优势只在窗口内有少量离群点 + 充足有效样本时成立
- 若缺失率 > 5%,median() 输出的“稳定值”其实是数据稀疏性的假象
- 真正需要的是先识别缺失类型(块缺失?随机缺失?)再决定补法,而不是寄希望于聚合函数自愈
滚动计算前漏掉无穷值,比 NaN 还危险
inf 和 -inf 不会被 skipna=True 自动跳过,rolling().mean() 遇到它们会直接返回 inf 或 nan(取决于运算规则),且这种错误结果看起来“很合理”——不像 NaN 那样扎眼,容易在后续建模中静默污染特征。
典型场景是除零或对数变换后残留的无穷:比如某天销量为 0,做 np.log(sales) 得到 -inf,接着做 rolling(7).mean(),结果整个窗口被拖向负无穷,但绘图时可能只显示为一条贴底直线,误判为“超低水平”,而非计算崩溃。
- 务必在 rolling 前执行:
df['value'] = df['value'].replace([np.inf, -np.inf], np.nan) - 之后立刻跟
df['value'].isnull().sum()确认是否还有残留 - 不要依赖
pd.options.mode.use_inf_as_na = True——它仅影响read_csv等 IO 操作,不作用于计算链中的中间结果
真实项目里,最常被跳过的一步是「确认缺失是否已物理消除」:画出原始序列 + isnull() 掩码图,比任何参数调试都管用。一旦发现补全后的序列仍有零星 NaN 或 inf,rolling 就不可能稳定。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










