本文解析 Pandas 和 PySpark 在分位数（quantile）计算上的底层差异，指出 approxQuantile(..., relativeError=0) 实际采用“下界插值”逻辑，并演示如何通过 interpolation='lower' 在 Pandas 中复现 PySpark 结果，实现跨框架数值一致性。
本文解析 pandas 和 pyspark 在分位数（quantile）计算上的底层差异，指出 `approxquantile(..., relativeerror=0)` 实际采用“下界插值”逻辑，并演示如何通过 `interpolation='lower'` 在 pandas 中复现 pyspark 结果，实现跨框架数值一致性。
Pandas 默认使用线性插值（interpolation='linear'）计算分位数，其结果为连续位置间的加权平均——例如对 [1,2,3,4,5] 求 0.2 分位数时，对应位置为 1 + 0.2×(5−1) = 1.8；而 PySpark 的 approxQuantile(col, quantiles, 0)（即 relativeError=0）虽名含“approx”，但在确定性模式下实则采用下界取整式离散插值：它将数据排序后，直接定位到累计比例刚≥目标分位的位置，并返回该位置对应的原始值（等价于 interpolation='lower'）。因此，对相同数据，0.2 分位在 5 个元素中对应第 ⌈0.2×5⌉ = 1 个索引（从 1 开始计），即值 1.0。
要使两者结果严格对齐，关键不是调整 PySpark，而是在 Pandas 端显式指定插值策略：
import pandas as pd
import numpy as np
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
data = {"A": [1, 2, 3, 4, 5]}
pdf = pd.DataFrame(data)
sdf = spark.createDataFrame(pdf)
percentiles = [0.2, 0.8]
# ✅ 对齐方案：Pandas 使用 'lower' 插值
pandas_lower = pdf["A"].quantile(percentiles, interpolation="lower")
spark_exact = sdf.approxQuantile("A", percentiles, 0)
print("Pandas (interpolation='lower'):", pandas_lower.tolist())
print("PySpark (approxQuantile, relErr=0):", spark_exact)
# 输出均为 [1.0, 4.0]
⚠️ 注意事项：
-
sdf.pandas_api().quantile()并非真正调用 Pandas 实现，而是委托给 PySpark 的approxQuantile，因此结果仍与原生 PySpark 一致； -
relativeError=0并不意味着“精确计算”，而是关闭误差容忍，强制返回确定性下界结果（Spark 文档明确说明其行为等价于interpolation='lower'）； - 若需高精度线性插值（如 Pandas 默认行为），PySpark 无原生等效 API，此时应考虑在 Pandas 或 Spark SQL（配合 UDF）中统一计算逻辑。
总结：跨框架分位数一致性依赖于明确插值语义。推荐在数据校验或 ETL 流程中，统一采用 interpolation='lower' + approxQuantile(..., 0) 组合，既保证可复现性，又避免因默认策略差异引入静默偏差。
