
使用 Polars 的 over() 窗口函数,可在不改变原始 DataFrame 行数的前提下,为每行添加按指定列分组的聚合结果(如分组求和),避免冗余的 group_by + join 操作。
使用 polars 的 over() 窗口函数,可在不改变原始 dataframe 行数的前提下,为每行添加按指定列分组的聚合结果(如分组求和),避免冗余的 group_by + join 操作。
在数据处理中,常需在保留原始细粒度行结构的基础上,附加分组统计信息(例如“每个类别下某字段的总和”)。若直接使用 group_by().agg(),会压缩数据、丢失原始行——这显然不符合需求。Polars 提供了高效简洁的替代方案:窗口函数(window function)。
核心方法是调用 .over(),它将聚合操作(如 pl.col("b").sum())“广播”到每个分组内的所有行,从而生成与原 DataFrame 行数一致的新列:
import polars as pl
df = pl.DataFrame(
{
"a": ["a", "b", "a", "b", "c"],
"b": [1, 2, 1, 3, 3],
}
)
result = df.with_columns(
b_sum = pl.col("b").sum().over(pl.col("a"))
)
print(result)
输出:
shape: (5, 3) ┌─────┬─────┬───────┐ │ a ┆ b ┆ b_sum │ │ --- ┆ --- ┆ --- │ │ str ┆ i64 ┆ i64 │ ╞═════╪═════╪═══════╡ │ a ┆ 1 ┆ 2 │ │ b ┆ 2 ┆ 5 │ │ a ┆ 1 ┆ 2 │ │ b ┆ 3 ┆ 5 │ │ c ┆ 3 ┆ 3 │ └─────┴─────┴───────┘
✅ 优势显著:
- 零中间 DataFrame,无需
join或临时变量; - 声明式语法清晰,语义即代码(
sum over column "a"); - 性能优异,底层自动优化,尤其适合大数据量场景。
⚠️ 注意事项:
-
over()中的分组表达式支持单列(如pl.col("a"))、多列(如pl.col(["a", "c"]))甚至复杂表达式(如pl.col("a").str.to_uppercase()); - 所有支持聚合的表达式(
.sum(),.mean(),.count(),.first(),.max()等)均可与.over()组合使用; - 若分组键含空值(
null),默认会被视为独立组(即null值相互归为一组),行为与 SQL 窗口函数一致。
总之,当需要“分组聚合但不降维”时,over() 是 Polars 中最自然、最高效的解决方案——它让聚合能力真正融入行级上下文,兼顾表达力与性能。










