本文介绍一种高效、简洁的方法，利用 mask 预过滤近似相等的值，再结合 compare 精准定位超出指定阈值（如 0.5）的数值差异，避免低效的 melt-merge 操作，显著提升大数据量下的性能。
本文介绍一种高效、简洁的方法，利用 `mask` 预过滤近似相等的值，再结合 `compare` 精准定位超出指定阈值（如 0.5）的数值差异，避免低效的 melt-merge 操作，显著提升大数据量下的性能。
在数据分析和测试验证场景中，常需判断两个 DataFrame 是否“近似相等”——即允许浮点计算或测量引入的小幅偏差。Pandas 原生的 df1.compare(df2) 方法仅支持精确相等比对，无法直接设定容差（tolerance）。当差异微小时（如 2.0 vs 2.2），它会将其视为有效差异；而用户往往只关心绝对差值超过阈值（例如 > 0.5）的实质性变化。
传统方案（如 melt + merge + abs() 过滤）虽逻辑直观，但时间与内存开销巨大：melt 将宽表转为长表，引发大量冗余索引操作；merge 则触发笛卡尔式匹配，复杂度达 O(n²)，在百万级行数据上极易成为性能瓶颈。
更优解是采用 “掩码预处理 + compare 后处理” 的两步策略：
-
构建布尔掩码：计算
(df1 - df2).abs() ，得到一个与原 DataFrame 形状一致的布尔矩阵 <code>m，其中True表示该位置差异在容差范围内； -
应用掩码：用
df.mask(m)将所有“可接受差异”的位置置为NaN，其余保留原始值； -
执行 compare：对两个已被掩码的 DataFrame 调用
.compare(...)—— 由于NaN在compare中被自动忽略，结果仅保留真正超阈值的差异项。
import pandas as pd
# 示例数据
df1 = pd.DataFrame({"A": [1, 1, 1], "B": [2, 2, 2], "C": [3, 3, 3]})
df2 = pd.DataFrame({"A": [1, 1, 1], "B": [2, 2.2, 2], "C": [3, 3, 3]})
threshold = 0.5
m = (df1 - df2).abs().le(threshold) # 布尔掩码：True = 差异 ≤ threshold
result = df1.mask(m).compare(df2.mask(m), result_names=('df1', 'df2'))
print(result)
# 输出：Empty DataFrame（因 |2.0−2.2|=0.2 ≤ 0.5，被掩码为 NaN，compare 忽略）
若将 threshold 设为 0.1，则 |2.0−2.2|=0.2 > 0.1，对应位置不被掩码，compare 将如实返回：
B df1 df2 1 2.0 2.2
✅ 优势总结：
- 向量化运算：全程基于 NumPy 底层广播，无 Python 循环或显式合并；
-
内存友好：不改变原始数据结构，避免
melt引发的中间长表膨胀； -
语义清晰：
mask+compare组合直观表达“忽略小差异，仅报告显著偏差”； -
兼容扩展：可轻松适配
pd.testing.assert_frame_equal(..., atol=0.5)进行断言测试，或结合numpy.isclose实现更复杂的相对误差判断（如rtol）。
⚠️ 注意事项：
-
compare()要求两 DataFrame 具有完全相同的索引与列名，否则抛出ValueError；建议提前校验df1.equals(df2)或使用df1.reindex_like(df2)对齐； - 若涉及缺失值（
NaN），(df1 - df2).abs()会产生NaN，需在构造掩码前用fillna()处理，或改用np.isclose(df1, df2, atol=threshold, equal_nan=True)更稳健地生成布尔矩阵。
