本文详解如何在 pandas 中基于 id、hrz 和 tenor 多列分组，并对数值列（如 1–4）并行应用多个自定义统计检验函数（如 KS 检验、CVM 检验），最终生成结构清晰、可直接分析的结果表。
本文详解如何在 pandas 中基于 `id`、`hrz` 和 `tenor` 多列分组，并对数值列（如 1–4）并行应用多个自定义统计检验函数（如 ks 检验、cvm 检验），最终生成结构清晰、可直接分析的结果表。
在金融时间序列分析或模型校准场景中，常需对同一标的（如 id）、同一期限结构（如 tenor）和同一参数设置（如 hrz）下的多组观测值，批量执行分布一致性检验（如 Kolmogorov-Smirnov 或 Cramér–von Mises）。pandas 提供了灵活高效的 groupby().agg() 接口，配合函数字典或函数列表，可优雅实现「多组 + 多列 + 多函数」的聚合计算。
以下为完整实现流程（假设已导入必要库）：
import pandas as pd
import numpy as np
from scipy import stats
# 示例自定义函数（注意：ks_test 返回统计量，非 p-value）
def ks_test(x):
# 对输入序列排序后检验是否服从均匀分布
return stats.kstest(np.sort(x), 'uniform')[0]
def cvm_test(x):
n = len(x)
if n == 0:
return np.nan
i = np.arange(1, n + 1)
x_sorted = np.sort(x)
w2 = (1 / (12 * n)) + np.sum((x_sorted - ((2 * i - 1) / (2 * n))) ** 2)
return w2
关键步骤一：明确分组键与目标列
排除非数值列（如 date）和分组列（id, hrz, tenor），动态提取待聚合的数值列：
group_cols = ['id', 'hrz', 'tenor'] value_cols = df.columns.difference(group_cols + ['date']).tolist() # → ['1', '2', '3', '4']
关键步骤二：两种推荐实现方式
✅ 方式一：使用 pd.concat 构建命名结果（推荐用于函数逻辑差异大/需显式控制顺序）
g = df.groupby(group_cols)[value_cols]
out = pd.concat({
'ks_test': g.agg(ks_test),
'cvm_test': g.agg(cvm_test)
}, names=['test']).reset_index()
该方式将每个函数结果作为独立 DataFrame 拼接，自动添加 test 层级索引，.reset_index() 后 test 成为普通列，输出结构严格对应需求（含 id, hrz, tenor, test, 1, 2, 3, 4）。
✅ 方式二：使用 agg([f1, f2]) + stack()（简洁、语义清晰）
out = (
df.groupby(group_cols)[value_cols]
.agg([ks_test, cvm_test])
.rename_axis([None, 'test'], axis=1) # 将列多级索引第二层命名为 'test'
.stack(level='test') # 将 'test' 层展开为行索引
.reset_index() # 转为扁平化 DataFrame
)
此写法更紧凑，且函数名自动成为 test 列值；stack() 确保结果按分组自然排列，无需手动排序。
注意事项与最佳实践：
- 自定义函数必须支持 pandas Series 输入，并返回标量（如 float）或长度为 1 的 array；若返回 NaN 或异常，建议内部加
try-except或空值判断（如cvm_test中的if n == 0）； - 若数值列含非数值类型，应在
groupby前用select_dtypes(include=[np.number])过滤； -
agg()对每列独立调用函数，因此ks_test会分别作用于'1','2','3','4'四列，无需循环； - 如需同时获取统计量与 p-value，可改写函数返回
pd.Series({'statistic': ..., 'pvalue': ...})，再配合agg()的字典映射实现多指标输出。
通过上述任一方式，即可高效生成符合业务需求的宽表格式结果，便于后续可视化（如热力图对比各列检验强度）或自动化报告生成。
