本文详解如何基于字符串后缀规则对DataFrame进行行级筛选、分组聚合，并按另一DataFrame定义的指标类型（如"With E"、"Without E"、"Normal"）精准映射汇总结果，避免apply误用导致的KeyError，推荐高效、可读性强的groupby + concat + merge链式方案。
本文详解如何基于字符串后缀规则对dataframe进行行级筛选、分组聚合，并按另一dataframe定义的指标类型（如"with e"、"without e"、"normal"）精准映射汇总结果，避免`apply`误用导致的keyerror，推荐高效、可读性强的`groupby + concat + merge`链式方案。
在实际数据分析中，常需根据动态业务规则（如字段值是否以特定后缀结尾）对数据进行条件聚合，并将结果与预定义的指标配置表对齐。直接使用 df.apply() 嵌套遍历不仅性能差，还易因未指定 axis=1 或列名不匹配（如原文报错 KeyError: 'Indi'）而失败。更优解是采用向量化操作组合：先按逻辑拆分聚合，再统一合并对齐。
✅ 正确实现步骤（推荐方案）
首先构造示例数据：
import pandas as pd
data1 = {
'Acc': [1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 3, 3, 3, 3, 4],
'indi_val': ['Val1', 'val2', 'Val_E', 'Val1_E', 'Val1', 'Val3', 'val2', 'val2_E', 'val22_E', 'val2_A', 'val2_V', 'Val_E', 'Val_A', 'Val', 'Val2', 'val7'],
'Amt': [10, 20, 5, 5, 22, 38, 15, 25, 22, 23, 24, 56, 67, 45, 87, 88]
}
df1 = pd.DataFrame(data1)
data2 = {
'Acc': [1, 1, 2, 2, 3, 4],
'Indi': ['With E', 'Without E', 'With E', 'Without E', 'Normal', 'Normal']
}
df2 = pd.DataFrame(data2)
接着，按三类逻辑分别聚合，生成中间结果列表：
df_temp = []
# 【Normal】：全量求和（无字符串过滤）
normal_agg = df1.groupby('Acc')['Amt'].sum().reset_index()
normal_agg['Indi'] = 'Normal'
df_temp.append(normal_agg)
# 【With E】：仅保留 indi_val 以 "_E" 结尾的行
with_e_mask = df1['indi_val'].str.endswith('_E')
with_e_agg = df1[with_e_mask].groupby('Acc')['Amt'].sum().reset_index()
with_e_agg['Indi'] = 'With E'
df_temp.append(with_e_agg)
# 【Without E】：排除以 "_E" 结尾的行（注意：使用 ~ 取反）
without_e_agg = df1[~with_e_mask].groupby('Acc')['Amt'].sum().reset_index()
without_e_agg['Indi'] = 'Without E'
df_temp.append(without_e_agg)
# 合并所有聚合结果
result_long = pd.concat(df_temp, ignore_index=True)
最后，与配置表 df2 按 ['Acc', 'Indi'] 双键精确关联：
final_result = df2.merge(result_long, on=['Acc', 'Indi'], how='left') print(final_result)
输出即为目标格式：
Acc Indi Amt 0 1 With E 10 1 1 Without E 90 2 2 With E 47 3 2 Without E 62 4 3 Normal 255 5 4 Normal 88
⚠️ 注意事项：
- str.endswith('_E') 安全处理空值（返回 False），比切片 [-2:] == '_E' 更鲁棒；
- merge(..., how='left') 确保 df2 的每一行都保留，即使某类逻辑无匹配数据（此时 Amt 为 NaN，可后续用 .fillna(0) 处理）；
- 若 df2 中存在 df1 无对应 Acc 的记录，建议提前校验或使用 indicator=True 调试；
- 避免在 apply 中修改外部列表（如原代码 listval.append(...)），既低效又易出错；向量化聚合天然支持并行与内存优化。
该方案时间复杂度为 O(n)，远优于嵌套 apply 的 O(n²)，且逻辑清晰、易于扩展（如新增 "With A" 类型只需追加一个分支）。掌握此模式，可高效应对各类“配置驱动型聚合”场景。
