本文介绍一种基于 polars lazyframe 的优雅、内存友好的方式，通过惰性计算构建覆盖所有索引列唯一值组合的统一数据集，并自动补全缺失行为 null 值。
本文介绍一种基于 polars lazyframe 的优雅、内存友好的方式，通过惰性计算构建覆盖所有索引列唯一值组合的统一数据集，并自动补全缺失行为 null 值。
在数据分析与建模中，常需将不规则分组数据“拉平”为完整网格结构——即确保每个索引列（如 g1, g2, g3）的全部唯一值组合均存在，缺失组合以 null 占位。这在时间序列对齐、多维透视填充、模型特征工程等场景中尤为关键。
Polars 原生不提供显式 cartesian_product() 方法，但可通过链式 join(..., how="cross") 实现。相比原始函数中逐次显式构建中间 DataFrame 的方式，惰性执行（Lazy Evaluation）是提升效率与可维护性的核心优化点：它避免了中间结果的物化，延迟计算直至最终 .collect()，显著降低峰值内存占用，并允许查询优化器进行全局计划重写。
以下为推荐实现：
from functools import reduce
import polars as pl
from typing import Sequence
def ensure_uniform(df: pl.DataFrame, index_cols: Sequence[str]) -> pl.DataFrame:
if len(index_cols) == 1:
return df
lf = df.lazy()
# 对每列独立提取唯一值（保持原始顺序）
uniques = [lf.select(col).unique(maintain_order=True) for col in index_cols]
# 使用 reduce 连续 cross join 构建全组合索引表
product = reduce(lambda a, b: a.join(b, how="cross"), uniques)
# 左连接原数据，自动对齐并补 null
out = product.join(lf, on=index_cols, how="left", maintain_order="left")
return out.collect()
✅ 优势说明：
-
惰性优先：全程在
LazyFrame上操作，仅在最后.collect()时触发一次执行，减少中间 DataFrame 创建开销； -
语义清晰：
reduce+cross join直观表达“笛卡尔积”意图，比循环更符合函数式风格； -
顺序可控：
maintain_order=True确保各列唯一值按首次出现顺序排列，使输出网格具备可预测性； - 兼容扩展：支持任意数量索引列，无需修改逻辑。
⚠️ 注意事项：
- 笛卡尔积规模为各列唯一值数量之积（如
|g1| × |g2| × |g3|），请预先评估组合总数，避免内存爆炸； - 若原始数据含重复索引组合，
left join会保留所有匹配行（即可能产生多对一），如需去重，应在lf中提前.unique(subset=index_cols)； -
maintain_order="left"（Polars ≥ 0.20.0）保证左表（product）顺序在 join 后不变，确保输出行列序稳定。
该方案已在多组基准测试中验证性能与原始循环版相当甚至略优，且在大数据管道中更易嵌入 Lazy 流程（如与 scan_parquet() 链式调用），是构建规范分析基线数据集的推荐实践。
