本文详解如何在 Polars 中避免 map_rows 或 Python 循环，利用原生表达式 API 实现「按每行指定的小数位数」对数值列进行高性能四舍五入。
本文详解如何在 polars 中避免 `map_rows` 或 python 循环，利用原生表达式 api 实现「按每行指定的小数位数」对数值列进行高性能四舍五入。
在数据处理中，常需根据另一列的动态值（如有效数字位数 sig_figs_len）对目标列（如 reverse_rate_from_euro）执行逐行精度控制的四舍五入。若使用 map_rows 或 apply，会触发 Python 层迭代，严重损害 Polars 的向量化性能，尤其在大数据集上不可接受。幸运的是，Polars 提供了两种纯表达式（expression-based）、零 Python 开销的解决方案：数学缩放法与条件分支聚合法。
✅ 方案一：数学缩放法（推荐｜通用性强）
核心思想是将浮点数“放大→取整→缩小”：先乘以 $10^{\text{sig_figs_len}}$ 将待保留小数位移至整数部分，调用 .round()（默认四舍五入到整数），再乘以 $10^{-\text{sig_figs_len}}$ 缩回原量级。该方法完全基于 Polars 内置算术表达式，无分支、无重复计算，性能最优。
import polars as pl
df = df.with_columns(
(
pl.col("reverse_rate_from_euro")
* pl.lit(10).pow(pl.col("sig_figs_len"))
).round()
* pl.lit(0.1).pow(pl.col("sig_figs_len"))
.alias("reverse_rate_to_euro_rounded_sig_figs")
)
⚠️ 注意：pl.lit(0.1) 是 10^{-1} 的简洁写法；也可写作 pl.lit(1).truediv(pl.lit(10).pow(pl.col("sig_figs_len")))，但前者更高效。此方案支持任意 u32/i64 类型的位数列，且对 NaN 和无穷值行为与标准 round() 一致。
✅ 方案二：条件分支 + coalesce()（适合位数种类少）
当 sig_figs_len 取值离散且数量有限（如仅 3, 4, 5），可枚举唯一值，为每个位数生成独立的 .round(x) 表达式，再用 pl.coalesce() 按行选取首个非空结果：
sig_figs_unique = df["sig_figs_len"].unique().to_list()
df = df.with_columns(
pl.coalesce(
[
pl.when(pl.col("sig_figs_len") == x)
.then(pl.col("reverse_rate_from_euro").round(x))
for x in sig_figs_unique
]
).alias("reverse_rate_to_euro_rounded_sig_figs")
)
该方案逻辑清晰、易于调试，且 coalesce 确保每行仅应用匹配的 round 规则。但若 sig_figs_len 唯一值过多（如 >100），表达式树会变大，编译开销上升，此时应优先选用方案一。
? 总结与选型建议
- 首选方案一（数学缩放）：适用于所有场景，尤其是大数据集或位数列分布连续/稀疏的情况。它完全向量化，无条件判断，性能稳定。
- 备选方案二（coalesce + when）：适合位数种类极少（≤10）、且需明确控制各精度逻辑的场景；代码可读性更高，便于添加额外条件（如按货币类型分组处理）。
- 务必避免：map_rows、apply、iter_rows() 等触发 Python 迭代的操作——它们会彻底绕过 Polars 的查询优化器和 SIMD 加速。
最终输出列 reverse_rate_to_euro_rounded_sig_figs 将严格匹配预期：0.154128 在 sig_figs_len=5 下变为 0.15413，0.156006 在 sig_figs_len=3 下变为 0.156，全程保持 Polars 的内存效率与执行速度。
