本文介绍如何在 Polars 中基于分组，使用一个 DataFrame（df1）中各组的 index 最大值，对另一个 DataFrame（df2）的对应列进行上界截断（clip），确保 df2 中每组的值不超过 df1 同组的最大值。
本文介绍如何在 polars 中基于分组，使用一个 dataframe（df1）中各组的 `index` 最大值，对另一个 dataframe（df2）的对应列进行上界截断（clip），确保 df2 中每组的值不超过 df1 同组的最大值。
在数据处理中，常需将某列数值“对齐”或“受限于”另一组参考数据的统计边界。典型场景包括：时间索引对齐、ID 范围校验、特征缩放约束等。Polars 提供了高效且声明式的表达方式——clip() 配合 over() 或 join()，可优雅实现跨 DataFrame 的分组截断。
✅ 基础方案：两 DataFrame 组别完全一致（推荐）
当 df1 和 df2 的 group 列包含完全相同的分组（无缺失、无额外组）时，最简洁的方式是直接利用 over() 窗口函数计算 df1 中每组最大值，并作为 clip 的上界：
import polars as pl
df1 = pl.DataFrame({
"group": ["A", "A", "A", "B", "B", "B"],
"index": [1, 3, 5, 1, 3, 8],
})
df2 = pl.DataFrame({
"group": ["A", "A", "A", "B", "B", "B"],
"index": [3, 4, 7, 2, 7, 10],
})
out = df2.with_columns(
pl.col("index").clip(
upper_bound=df1.select(pl.col("index").max().over("group"))["index"]
)
)
print(out)
输出结果与预期一致：
shape: (6, 2) ┌───────┬───────┐ │ group ┆ index │ │ --- ┆ --- │ │ str ┆ i64 │ ╞═══════╪═══════╡ │ A ┆ 3 │ │ A ┆ 4 │ │ A ┆ 5 │ │ B ┆ 2 │ │ B ┆ 7 │ │ B ┆ 8 │ └───────┴───────┘
? 原理说明：df1.select(pl.col("index").max().over("group")) 返回一个单列 DataFrame，其行顺序与 df1 保持一致（即按原顺序重复填充每组最大值）；由于 df1 和 df2 组别与长度一致，该 Series 可直接广播为 clip 的 upper_bound 参数——Polars 会自动按行对齐（隐式位置匹配）。
⚠️ 健壮方案：组别不完全对齐（生产环境首选）
若 df2 包含 df1 中不存在的组，或 df1 某组缺失而 df2 存在，则上述 over() 方式会因长度/顺序不匹配导致错误或静默行为异常。此时应显式聚合 + 关联：
# 示例：df1 缺少 B 组的完整信息，df2 多出一个 B 组记录
df1 = pl.DataFrame({
"group": ["A", "A", "A", "B", "B"], # 注意：B 组只有 2 行
"index": [1, 3, 5, 1, 3],
})
df2 = pl.DataFrame({
"group": ["A", "A", "A", "B", "B", "B"],
"index": [3, 4, 7, 2, 7, 9],
})
# 步骤：1. 计算 df1 每组最大值；2. 与 df2 左连接；3. 截断
group_max = df1.group_by("group").agg(pl.col("index").max().alias("max_index"))
out = (
df2
.join(group_max, on="group", how="left")
.with_columns(pl.col("index").clip(upper_bound="max_index"))
.drop("max_index") # 清理临时列
)
print(out)
输出：
shape: (6, 2) ┌───────┬───────┐ │ group ┆ index │ │ --- ┆ --- │ │ str ┆ i64 │ ╞═══════╪═══════╡ │ A ┆ 3 │ │ A ┆ 4 │ │ A ┆ 5 │ │ B ┆ 2 │ │ B ┆ 3 │ │ B ┆ 3 │ └───────┴───────┘
✅ 该方案具备强健性：
- 自动处理组别缺失（未出现在 df1 中的 group 值，其 max_index 为 null，clip 会保留原值或报错，可通过 .fill_null() 显式控制）；
- 支持任意长度和顺序的 df2；
- 语义清晰，易于调试与复用。
? 小结与最佳实践
- 优先使用 over()：当确认两表分组结构严格一致时，over() 最简短高效；
- 默认采用 join + group_by.agg：在真实项目中，数据来源往往不可控，显式关联更安全、可维护；
- 注意 null 处理：若 df1 中某组无数据，max() 返回 null，clip(null) 会返回 null —— 建议添加 .fill_null(float('inf')) 或业务默认值；
- 性能提示：group_by().agg() + join 在大数据集下仍保持 O(n+m) 复杂度，远优于 Python 循环或 Pandas apply。
通过合理组合 Polars 的惰性求值、窗口函数与关系操作，你可以在单行表达式中完成复杂的跨表约束逻辑，兼顾性能与可读性。
