如何在 Pandas GroupBy 中使用 agg() 高效计算并命名分位数

风芳酱_9967

风芳酱_9967

2026-10-22

560人浏览

原创

如何在 Pandas GroupBy 中使用 agg() 高效计算并命名分位数

本文详解如何通过自定义函数工厂配合 groupby().agg() 一次性计算多个字段的任意分位数,并生成语义清晰的列名(如 bell_q10),避免循环拼接,兼顾可读性、简洁性与计算效率。

本文详解如何通过自定义函数工厂配合 `groupby().agg()` 一次性计算多个字段的任意分位数,并生成语义清晰的列名(如 `bell_q10`),避免循环拼接,兼顾可读性、简洁性与计算效率。

在 Pandas 数据分析中,常需对分组数据同时计算多种统计量(如均值、中位数、特定分位数)。虽然 Series.quantile() 和 GroupBy.quantile() 可直接获取分位数,但它们返回的是多级索引 Series,难以与常规聚合(如 "mean"、"median")统一集成到一次 agg() 调用中——这正是用户遇到的核心痛点:希望用声明式语法(如 ("bell", "q90"))实现“一调用、多结果、好命名”。

解决方案:函数工厂(Function Factory)

关键在于将参数化的 quantile(q) 封装为无参函数,使其能被 agg() 正确识别为聚合器:

def quantile(q=0.5, **kwargs):
    def f(series):
        return series.quantile(q, **kwargs)
    return f

该函数返回一个闭包 f,它接收 Series 并调用 series.quantile(q),完全符合 agg() 对自定义聚合器的签名要求(单参数 Series → 标量或 Series)。

完整示例:混合聚合 + 命名分位数

import pandas as pd
import numpy as np

rng = np.random.default_rng(seed=18860504)
df = pd.DataFrame({
    "dummy": 1,
    "bell": rng.normal(loc=0, scale=1, size=100),
    "fish": rng.poisson(lam=10, size=100),
    "cabin": rng.lognormal(mean=0, sigma=1.0, size=100),
})

# 定义分位点(如 q10, q50, q90)
quants = [0.1, 0.5, 0.9]

# 使用函数工厂构建聚合字典
agg_dict = {
    # 基础统计量
    "bell_med": ("bell", "median"),
    "bell_mean": ("bell", "mean"),
    "fish_med": ("fish", "median"),
    "fish_mean": ("fish", "mean"),
    # 分位数(动态命名)
    **{f"{col}_q{int(q*100):02d}": (col, quantile(q)) 
       for q in quants 
       for col in ["bell", "fish"]}
}

result = df.groupby("dummy").agg(**agg_dict)
print(result)

输出示例(列名清晰、结果紧凑):

       bell_med  bell_mean  fish_med  fish_mean  bell_q10  bell_q50  bell_q90  fish_q10  fish_q50  fish_q90
dummy                                                                                                      
1     -0.063454  -0.058557      10.0       9.92 -1.553682 -0.063454  1.452172       7.0      10.0      14.0

注意事项与最佳实践

  • ✅ 性能优势:agg() 内部会对每个分组只遍历一次数据,比多次 groupby().quantile() 更高效;
  • ⚠️ 命名冲突:确保生成的列名(如 "bell_q10")不与内置方法名(如 "quantile")重复;
  • ? 扩展性:可轻松扩展至其他参数化统计(如 std(ddof=0)、rolling(3).mean()),只需调整函数工厂;
  • ? 兼容性:该方案完全兼容 Pandas 1.4+,且支持 agg() 的所有输入格式(元组、字典、列表);
  • ? 进阶技巧:若需保留原始分位数索引(如 q10, q50),可改用 lambda s: s.quantile(quants),但此时需额外 stack() 或 unstack() 处理层级,牺牲了列命名的直观性。

综上,函数工厂是连接“参数化聚合”与“声明式 agg()”的优雅桥梁——它既保持了代码的可读性与可维护性,又充分发挥了 Pandas 向量化计算的性能潜力。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

320

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

252

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

591

25

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

2026.10.21

20

15

Playwright 页面操作指南
Playwright 页面操作指南

Playwright页面操作专题汇集元素定位、点击与输入、等待响应、多页面切换、Iframe、事件监听及文件处理的已审核文章,便于按操作场景查阅示例与常见问题。

2026.10.21

0

16

Playwright 入门教程
Playwright 入门教程

Playwright入门专题汇集测试框架安装、VS Code配置、录制脚本、编写首个用例、运行调试及查看报告的已审核文章,帮助初学者搭建端到端测试流程。

2026.10.21

0

16

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

2026.10.16

120

10

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

2026.10.16

80

10

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

2026.10.16

60

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.9万人学习