本文介绍一种高效、内存友好的 Polars 表达式方案，利用 pl.int_ranges() 与取模运算生成循环索引，再通过 .list.gather() 实现列表的重复填充（cyclic repeat）与长度截断，避免 repeat_by 引发的 u32 索引溢出问题。
本文介绍一种高效、内存友好的 polars 表达式方案，利用 `pl.int_ranges()` 与取模运算生成循环索引，再通过 `.list.gather()` 实现列表的重复填充（cyclic repeat）与长度截断，避免 `repeat_by` 引发的 u32 索引溢出问题。
在处理变长嵌套结构（如坐标点序列、时序片段或 tokenized 向量）时，常需将每行的 List 列标准化为固定长度——不足则循环重复元素（非简单复制末尾），超出则截断。Polars 原生不提供 pad_repeat 类操作，但可通过索引调度优雅实现。
核心思路是：不真正扩展列表，而是构造一个长度为 target_length 的循环索引数组，再用 .list.gather() 按需采样。该方法全程在表达式层完成，零中间副本，规避了 repeat_by().explode() 导致的临时超大 list（从而触发 Polars' maximum length reached 错误）。
以下为完整实现：
import polars as pl
# 示例数据（含嵌套 Array）
lf = pl.LazyFrame(
{
"points": [
[[1.0, 2.0]],
[[3.0, 4.0], [5.0, 6.0]],
[[7.0, 8.0], [9.0, 10.0], [11.0, 12.0]],
],
"other": ["foo", "bar", "baz"],
},
schema={
"points": pl.List(pl.Array(pl.Float32, 2)),
"other": pl.String,
},
)
target_length = 5
result = lf.with_columns(
points_fixed = pl.col("points").list.gather(
pl.int_ranges(target_length) % pl.col("points").list.len()
)
).select("points_fixed", "other")
✅ 关键优势解析：
-
pl.int_ranges(target_length)生成[0, 1, 2, ..., target_length-1]（i64 类型，无 u32 溢出风险）； -
% pl.col("points").list.len()对每个行独立取模，自动实现循环索引（如长度为 2 →[0,1,0,1,0]）； -
.list.gather()直接按索引查表，原子操作，不创建中间长列表； - 支持任意嵌套类型（
Array,Struct, 深层List），无需explode/implode。
⚠️ 注意事项：
- 若某行
points为空列表（len() == 0），% 0将报错。生产环境建议前置防御：pl.when(pl.col("points").list.len() == 0) .then(pl.lit([])) .otherwise(pl.col("points").list.gather(...)) -
pl.int_ranges要求 Polars ≥ 0.20.0；旧版本可用pl.int_range(0, target_length)替代（单值，需配合list构造，略低效）； - 此方案天然支持 LazyFrame 流式处理，对千万级行数、数千元素/行的数据集仍保持高吞吐。
最终输出中，每行 points_fixed 均严格为长度 5 的 List[Array[f32, 2]]，元素按原始顺序循环复用，无精度损失、无冗余内存开销——是规模化嵌套数据标准化的推荐范式。
