解决 NumPy 与 Polars 在超大数值下相关系数计算失准的问题-Python教程-PHP中文网

解决 NumPy 与 Polars 在超大数值下相关系数计算失准的问题

当数据偏移量极大（如加 $10^{20}$）时，浮点精度不足会导致协方差和相关系数计算完全失效（输出全 1、nan 或错误值），根本原因是 ieee 754 双精度无法表示微小差异；标准解法是先中心化或使用高精度中间表示再转回 float。

当数据偏移量极大（如加 $10^{20}$）时，浮点精度不足会导致协方差和相关系数计算完全失效（输出全 1、nan 或错误值），根本原因是 ieee 754 双精度无法表示微小差异；标准解法是先中心化或使用高精度中间表示再转回 float。

在科学计算与数据分析中，corr() 方法（无论是 Polars 的 DataFrame.corr() 还是 NumPy 的 np.corrcoef()）本质上依赖于协方差公式：

$$ \text{corr}(X, Y) = \frac{\text{cov}(X, Y)}{\sigma_X \sigma_Y} = \frac{\mathbb{E}[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X \sigma_Y} $$

该公式对数值稳定性高度敏感——尤其当原始数据本身具有极大偏置（如 $+10^{20}$）时，X - μ_X 的计算会因浮点舍入而彻底丢失有效信息。例如：

import polars as pl
df = pl.DataFrame({"a": [1.0, 2.0, 3.0, 1.0, 2.0, 3.0],
                   "b": [4.0, 3.0, 0.0, 1.0, 2.0, 0.0]})

# ❌ 精度崩溃：1e20 级偏移导致减法归零
large_offset = 1e20
shifted = df.select(pl.all() + large_offset)
print((shifted - shifted.mean()).collect())  # 多数行变为 0.0 —— 有效信号已丢失

运行结果将显示大量 0.0，因为 1e20 + 1.0 == 1e20 + 2.0 在 float64 中为真（np.nextafter(1e20, np.inf) - 1e20 ≈ 8192.0），即最小可分辨增量远大于你的数据波动范围。

✅ 推荐解决方案：两阶段稳健计算

方案一：预中心化（推荐，简单高效）

在加偏移前先对原始数据去均值，利用相关系数的平移不变性（$\text{corr}(X+c, Y+d) = \text{corr}(X, Y)$）：

# 正确：先中心化，再任意平移（不影响结果）
centered = df.select(pl.all() - pl.all().mean())
# 此时 centered.corr() 已准确；若需保留偏移语义，可跳过后续加法
result = centered.corr()  # 输出稳定、正确

⚠️ 注意：此方法不改变相关性，且无额外精度损失，是性能与鲁棒性的最佳平衡。

方案二：高精度中间计算（适用于必须保留原始 scale 的场景）

当业务逻辑强制要求在超大偏移下直接计算（如金融账本级精度），可借助 Polars 的 Decimal 类型暂存：

from decimal import Decimal

# 使用 Decimal 避免浮点截断（需确保输入可精确表示为 decimal）
df_dec = df.select(pl.all().cast(pl.Decimal))
offset = pl.lit(Decimal('1123000000000000000000'))  # 字符串构造防 float 转换污染
shifted_dec = df_dec.select(pl.all() + offset)

# 计算均值（Decimal 精确）
means = shifted_dec.select(pl.all().mean())

# 中心化 + 转回 float（此时差值仍有效）
robust_corr = (
    shifted_dec.select(pl.all() - means)
    .select(pl.all().cast(float))
    .corr()
)