本文介绍如何使用 Polars 的 shift() 和 forward_fill() 组合，为 DataFrame 中的数值列生成新列，其值为当前非空元素减去其上一个非空元素；空值位置对应结果也为 null。
本文介绍如何使用 polars 的 `shift()` 和 `forward_fill()` 组合，为 dataframe 中的数值列生成新列，其值为当前非空元素减去其**上一个非空元素**；空值位置对应结果也为 null。
在 Polars 中实现“取上一个非空值并做运算”这一需求，关键在于避免显式循环或窗口大小预设（因空值分布不规则），而应利用表达式链高效完成前向状态传播。核心思路是：先用 forward_fill() 获取每个位置“最近的前一个非空值”，再通过 shift() 将其错位对齐到当前行的“前驱值”位置。
具体步骤如下：
- pl.col("a").forward_fill()：将列 "a" 中每个 null 替换为它之前最近的非空值（从上往下填充）；
- .shift(fill_value=...)：将上述填充后的序列整体下移一行，并用首行原始值（pl.col("a").first()）填充顶部空缺——这样，每一行的 shift 结果即代表“该行之前的最后一个非空值”；
- 当前值减去该前驱值：对非空行完成差值计算；由于 null 参与算术运算结果仍为 null，因此原 null 行自动保持 null 输出，完全符合题设逻辑。
以下是完整可运行示例：
import polars as pl
df = pl.DataFrame({
"a": [1, 15, None, 20, None]
})
result = df.with_columns(
(
pl.col("a") -
pl.col("a")
.forward_fill() # 填充所有 null 为前一个非空值（如 [1,15,15,20,20]）
.shift(fill_value=pl.col("a").first()) # 下移 → [1,1,15,15,20]，首项补第一个真实值
).alias("b")
)
print(result)
输出：
shape: (5, 2) ┌──────┬──────┐ │ a ┆ b │ │ --- ┆ --- │ │ i64 ┆ i64 │ ╞══════╪══════╡ │ 1 ┆ 0 │ │ 15 ┆ 14 │ │ null ┆ null │ │ 20 ┆ 5 │ │ null ┆ null │ └──────┴──────┘
✅ 注意事项：
- forward_fill() 默认按行顺序从前向后填充，适用于本场景；若需反向（取下一个非空值），可用 backward_fill()；
- shift(fill_value=...) 中的 fill_value 必须与列类型兼容（此处 pl.col("a").first() 确保类型一致且语义正确——首行无前驱值，故差值为 1 - 1 = 0）；
- 该方案为纯惰性表达式，零拷贝、高性能，适用于百万级数据；
- 若列中首行为 null，first() 将返回 null，此时需额外处理（例如先 drop_nulls().first() 或结合 coalesce 防御）。
此模式可泛化至其他“基于上一个有效状态”的计算，如变化率、增量标记、会话分组起始判断等，是 Polars 流式数据处理中的典型范式。
