Polars 中实现左边界可扩展的滚动时间窗口均值计算

云辰酱_1566

云辰酱_1566

2026-11-17

818人浏览

原创

Polars 中实现左边界可扩展的滚动时间窗口均值计算

本文介绍如何在 polars 中实现「左边界非严格」的 5 分钟滚动时间窗口均值:窗口以当前时间戳为右边界,左边界自动回溯至最早可用数据点(而非精确截断),从而确保每个窗口至少包含一个有效观测。

本文介绍如何在 polars 中实现「左边界非严格」的 5 分钟滚动时间窗口均值:窗口以当前时间戳为右边界,左边界自动回溯至最早可用数据点(而非精确截断),从而确保每个窗口至少包含一个有效观测。

在 Polars 中,原生 rolling() 操作默认遵循严格的区间语义(如 closed="right" 表示 [t−5m, t)),无法直接支持“若 t−5m 处无数据,则取更早最近值”的柔性左边界逻辑。但通过组合 rolling 与 join_asof,可高效模拟该行为——核心思路是:先用标准滚动获取 [t−5m, t) 内的数据,再通过反向 join_asof 将恰好位于 t−5m 左侧(即 t−5m 偏移后)的最晚历史记录“拉回”补入窗口。

以下是完整实现:

import polars as pl

df = pl.DataFrame({
    "timestamp": [
        "2024-04-10 10:00:01",
        "2024-04-10 10:01:30",
        "2024-04-10 10:03:10",
        "2024-04-10 10:05:00",
        "2024-04-10 10:06:00",
        "2024-04-10 10:08:10",
    ],
    "value": [1, 2, 3, 4, 5, 6]
}).with_columns(
    pl.col("timestamp").str.strptime(pl.Datetime)
)

result = (
    df.rolling("timestamp", period="5m", closed="right")
    .agg(pl.col("value"))  # → 得到 [t−5m, t) 内的 value 列表
    .join_asof(
        df.select("timestamp", value_right=pl.col("value")),
        left_on="timestamp",
        right_on=pl.col("timestamp").dt.offset_by("-5m"),  # 关键:将右表 timestamp 向前偏移 5m,使 join_asof 匹配「t−5m 时刻之前最后一个可用点」
        strategy="backward"
    )
    .select(
        "timestamp",
        value=pl.when(pl.col("value_right").is_null())
               .then(pl.col("value"))
               .otherwise(pl.concat_list("value_right", "value"))
    )
    .with_columns(rolling_value=pl.col("value").list.mean())
)

print(result)

输出结果与预期一致:

┌─────────────────────┬────────────────┬───────────────┐
│ timestamp           ┆ value          ┆ rolling_value │
│ ---                 ┆ ---            ┆ ---           │
│ datetime[μs]        ┆ list[i64]      ┆ f64           │
╞═════════════════════╪════════════════╪═══════════════╡
│ 2024-04-10 10:00:01 ┆ [1]            ┆ 1.0           │
│ 2024-04-10 10:01:30 ┆ [1, 2]         ┆ 1.5           │
│ 2024-04-10 10:03:10 ┆ [1, 2, 3]      ┆ 2.0           │
│ 2024-04-10 10:05:00 ┆ [1, 2, 3, 4]   ┆ 2.5           │
│ 2024-04-10 10:06:00 ┆ [1, 2, 3, 4, 5]┆ 3.0           │
│ 2024-04-10 10:08:10 ┆ [3, 4, 5, 6]   ┆ 4.5           │
└─────────────────────┴────────────────┴───────────────┘

✅ 关键要点说明:

AdsTurbo AI
AdsTurbo AI

AdsTurbo AI是一款AI文本写作工具,AI视频广告生成平台,自动生成可直接投放的视频。

下载
  • join_asof(..., strategy="backward") 确保对每个左表时间戳 t,从右表中查找 ≤ t 的最大时间戳对应行;
  • 右表使用 offset_by("-5m") 后,join_asof 实际匹配的是「时间 ≤ t − 5m 的最新记录」,这正是我们希望补入窗口的“左边界外第一个点”;
  • pl.when(...).then(...).otherwise(...) 安全处理首行(无前置数据)场景,避免空值导致列表拼接失败;
  • 此方案无需 UDF 或 Python 循环,全程基于 Polars 原生表达式,性能接近底层 Rust 实现。

⚠️ 注意事项:

  • 输入 timestamp 列必须为 Datetime 类型且已排序(rolling 和 join_asof 均要求升序);
  • 若存在重复时间戳,建议预先去重或明确业务逻辑(如取均值/首值);
  • offset_by("-5m") 中的负号表示向前偏移,务必确认方向符合语义(此处是为让右表时间点“提前”,以便 join_asof 拉回左边界外数据)。

该模式可轻松泛化至任意时长窗口(如 "10m"、"1h")或其它聚合函数(如 sum、max),是 Polars 中实现 Pandas 风格自定义滚动逻辑的推荐范式。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

可扩展

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1951

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5504

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1889

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

33557

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3947

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3947

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1283

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

636

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3063

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 198人学习

XML教程
XML教程

共142课时 | 15.1万人学习

ThinkPHP6.x API接口--十天技能课堂
ThinkPHP6.x API接口--十天技能课堂

共14课时 | 1.6万人学习