如何在 Polars 中实现累积去重并聚合为列表（非数值累加）-Python教程-PHP中文网

如何在 Polars 中实现累积去重并聚合为列表（非数值累加）

本文介绍在 Polars 中高效实现“累积集合构建”——即对列元素逐行累积去重并返回已出现元素的有序列表，适用于百万级大数据场景，避免低效的 map_elements 或 Python 循环。

本文介绍在 polars 中高效实现“累积集合构建”——即对列元素逐行累积去重并返回已出现元素的有序列表，适用于百万级大数据场景，避免低效的 `map_elements` 或 python 循环。

在 Polars 中，cum_sum() 仅支持数值累加，但实际分析中常需类似语义的“累积状态维护”，例如：按行追踪某字段历史出现过的所有唯一值，并以列表形式保存（等价于逐行构建一个“运行中的集合”）。由于原生无 cum_unique() 函数，需借助表达式链组合实现。

核心方案是使用 cumulative_eval() —— 它是 Polars 中专为逐窗口累积计算设计的高性能表达式，底层由 Rust 实现，可安全用于千万级数据，远优于 map_elements()（后者会触发 Python 解释器开销，导致性能断崖式下降）。

具体实现如下：

import polars as pl

df = pl.DataFrame({"a": [1, 2, 3, 4]})

result = df.with_columns(
    res = pl.col("a").cumulative_eval(pl.element().unique().implode())
)
print(result)

输出为：

Claw Code Suite (Python-Only Edition)

仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...

下载

shape: (4, 2)
┌─────┬─────────────┐
│ a   ┆ res         │
│ --- ┆ ---         │
│ i64 ┆ list[i64]   │
╞═════╪═════════════╡
│ 1   ┆ [1]         │
│ 2   ┆ [1, 2]      │
│ 3   ┆ [1, 2, 3]   │
│ 4   ┆ [1, 2, 3, 4]│
└─────┴─────────────┘

✅ 关键点说明：

pl.element() 表示当前累积窗口内的所有元素（从首行到当前行）；
.unique() 去重（保持首次出现顺序）；
.implode() 将 Series 聚合为单个 list 值（类型为 list[i64]），对应每行的“历史唯一集合”；
整个过程完全向量化，无 Python 层循环，内存友好且可并行加速。

⚠️ 注意事项：

cumulative_eval 的窗口是从第一行到当前行的前缀窗口（即严格左闭右闭），不可自定义偏移或长度；
若原始列含 null，unique() 默认保留一个 null，如需排除，可前置 .drop_nulls()；
输出为 list 类型而非 set——Polars 不支持原生 set 列，但 list 具有相同语义（去重+可查重），且支持后续 .list.contains() 等操作；
对超大表（如千万行），建议配合 pl.Config.set_fmt_str_lengths(0) 避免打印截断，调试时用 .head(5) 快速验证逻辑。