Pandas groupby性能优化：高效处理多函数聚合的策略-Python教程-PHP中文网

Pandas groupby性能优化：高效处理多函数聚合的策略

本教程探讨了pandas `groupby().agg()`在处理多函数聚合时可能出现的性能瓶颈。针对大数据集下聚合操作效率低下的问题，文章提供了一种“惰性分组”的优化策略，通过预先创建分组对象并独立应用聚合函数，显著提升了数据处理速度，并展示了如何构建结构化的结果dataframe，以实现更高效的数据分析。

引言

Pandas groupby是数据分析中一项核心功能，它允许用户根据一个或多个键对数据进行分组，并对每个组执行聚合操作。常见的聚合函数如mean、sum、max等，以及自定义函数，都可以通过agg方法批量应用。然而，当数据集规模增大，并且需要对多个列应用多种聚合函数（尤其是包含自定义函数）时，groupby().agg()的性能可能会急剧下降，成为数据处理流程中的瓶颈。理解并优化这一过程对于提升大型数据集的处理效率至关重要。

原始方法及其性能瓶颈

考虑以下一个典型的Pandas groupby().agg()应用场景。我们有一个包含delta_t、specimen、measuremnt和lag等列的DataFrame，目标是根据specimen和delta_t进行分组，然后计算measuremnt的均值、75分位数（自定义函数）和最大值，以及lag的均值。

原始代码示例：

import pandas as pd
import numpy as np

# 模拟一个较大的DataFrame
data = {
    'delta_t': np.random.randint(0, 301, 100000), # 增加数据量以模拟性能问题
    'specimen': np.random.choice(['X', 'Y', 'Z'], 100000),
    'measuremnt': np.random.rand(100000),
    'lag': np.random.rand(100000)
}
df = pd.DataFrame(data)

# 定义一个自定义的75分位数函数
def q75(x):
    return x.quantile(0.75)

# 应用原始的groupby().agg()方法
# %%timeit -n 10
df_result_original = df.groupby(['specimen', 'delta_t']).agg({
    'measuremnt': ['mean', q75, 'max'],
    'lag': 'mean'
}).reset_index()

# 示例输出部分（实际运行会输出完整DataFrame）
# print(df_result_original.head())

性能分析：

在实际测试中，当DataFrame规模较小（如100行）时，上述代码的执行时间可能在毫秒级别。但随着数据量的增加，例如增加到10万行，其执行时间会显著增长。根据测试结果，使用%%timeit -n 10对上述代码进行性能评估，其平均执行时间约为 43.2 ms ± 1.85 ms。

这种性能下降的原因通常在于agg方法在处理多个聚合函数和多列时，可能会存在一些内部开销，尤其是在每次聚合都需要重新遍历或处理分组数据时。对于自定义函数，这种开销可能会更加明显。

优化策略：惰性分组聚合

为了解决groupby().agg()的性能瓶颈，我们可以采用一种“惰性分组”的策略。其核心思想是：首先创建一次groupby对象，然后针对该分组对象，对每个需要聚合的列和函数单独进行计算，最后将这些结果组合成一个新的DataFrame。这种方法可以避免agg在内部进行多次复杂的调度和数据遍历。

优化代码示例：

# 优化方法：惰性分组聚合
# %%timeit -n 10
groups = df.groupby(['specimen', 'delta_t'])

df_result_optimized = pd.DataFrame({
    'measurement_mean': groups['measuremnt'].mean(),
    'measurement_q75': groups['measuremnt'].quantile(.75),
    'measurement_max': groups['measuremnt'].max(),
    'lag_mean': groups['lag'].mean()
}).reset_index()

# 示例输出部分（实际运行会输出完整DataFrame）
# print(df_result_optimized.head())

性能对比：

通过采用惰性分组策略，性能得到了显著提升。对上述优化代码进行%%timeit -n 10性能评估，其平均执行时间约为 1.95 ms ± 337 µs。

Python Pep Authoring

依据官方 python/peps仓库规则起草、审阅、编辑或准备 Python 改进提案（PEP），用于处理 PEP 文本和元数据头部。

下载

性能提升分析：

减少重复计算： groups = df.groupby(...)操作只执行一次，生成了一个可复用的分组对象。后续对groups['column'].agg_function()的调用可以直接利用这个预先计算好的分组结构，避免了agg内部可能存在的重复分组逻辑。
利用Pandas优化： 独立调用如groups['measuremnt'].mean()等聚合函数时，Pandas可以更直接地利用其底层C语言优化实现，减少了Python层面的调度开销。
自定义函数效率： 对于自定义函数（如q75），这种方式也避免了agg在处理自定义函数时可能引入的额外开销。

结果DataFrame的结构化

优化后的惰性分组方法默认会生成扁平化的列名（例如measurement_mean）。如果需要保持与agg方法类似的MultiIndex列结构，可以通过在构建DataFrame时使用元组作为字典键来实现：

# 构建MultiIndex列结构的DataFrame
df_result_multiindex = pd.DataFrame({
    ('measurement','mean'): groups['measuremnt'].mean(),
    ('measurement','q75'): groups['measuremnt'].quantile(.75),
    ('measurement','max'): groups['measuremnt'].max(),
    ('lag','mean'): groups['lag'].mean()
}).reset_index()

# 示例输出部分（实际运行会输出完整DataFrame）
# print(df_result_multiindex.head())

通过这种方式，可以灵活地控制输出DataFrame的列结构，使其更符合后续数据处理或分析的需求。