本文详解如何基于字符串后缀（如 _E）对 DataFrame 进行行级过滤，并按账户（Acc）和指标类型（With E / Without E / Normal）执行差异化聚合，最终与参考表精准关联输出。
本文详解如何基于字符串后缀（如 `_e`）对 dataframe 进行行级过滤，并按账户（acc）和指标类型（with e / without e / normal）执行差异化聚合，最终与参考表精准关联输出。
在 Pandas 中实现「按行条件动态分组 + 多逻辑聚合」是常见但易出错的任务。原始代码试图用 df2.apply() 调用自定义函数遍历每行，却未指定 axis=1，且在函数内部错误地嵌套 df1.apply() 并滥用 list.append()，导致 KeyError: 'Indi'（因 df1 无 'Indi' 列）及性能低下。更本质的问题在于：逐行 Python 循环违背向量化原则，应优先使用布尔索引 + groupby + agg 组合。
✅ 推荐方案：分组聚合 + 合并（高效、可读、健壮）
核心思路是：为每种指标类型（With E / Without E / Normal）分别构造聚合结果子集，再统一合并。关键技巧包括：
- 使用 str.endswith('_E') 安全判断字符串后缀（自动处理空值/短字符串，比 [-2:] == '_E' 更鲁棒）；
- 对每个子集调用 groupby('Acc')['Amt'].sum().reset_index() 获取账户级汇总；
- 为每个子集显式添加 'Indi' 列标识类型；
- 最终用 pd.concat() 合并所有子集，再通过 merge() 与 df2 按 ['Acc', 'Indi'] 精确对齐。
import pandas as pd
# 构建示例数据
data1 = {
'Acc': [1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 3, 3, 3, 3, 4],
'indi_val': ['Val1', 'val2', 'Val_E', 'Val1_E', 'Val1', 'Val3', 'val2', 'val2_E', 'val22_E', 'val2_A', 'val2_V', 'Val_E', 'Val_A', 'Val', 'Val2', 'val7'],
'Amt': [10, 20, 5, 5, 22, 38, 15, 25, 22, 23, 24, 56, 67, 45, 87, 88]
}
df1 = pd.DataFrame(data1)
data2 = {
'Acc': [1, 1, 2, 2, 3, 4],
'Indi': ['With E', 'Without E', 'With E', 'Without E', 'Normal', 'Normal']
}
df2 = pd.DataFrame(data2)
# 分步构建各指标类型的聚合结果
temp_dfs = []
# 【Normal】：全量求和（不加任何过滤）
normal_agg = df1.groupby('Acc')['Amt'].sum().reset_index()
normal_agg['Indi'] = 'Normal'
temp_dfs.append(normal_agg)
# 【With E】：仅保留 indi_val 以 '_E' 结尾的行
with_e_mask = df1['indi_val'].str.endswith('_E')
with_e_agg = df1[with_e_mask].groupby('Acc')['Amt'].sum().reset_index()
with_e_agg['Indi'] = 'With E'
temp_dfs.append(with_e_agg)
# 【Without E】：排除以 '_E' 结尾的行
without_e_agg = df1[~with_e_mask].groupby('Acc')['Amt'].sum().reset_index()
without_e_agg['Indi'] = 'Without E'
temp_dfs.append(without_e_agg)
# 合并所有结果并关联 df2
result = pd.concat(temp_dfs, ignore_index=True)
final_output = df2.merge(result, on=['Acc', 'Indi'], how='left')
print(final_output)
输出结果：
Acc Indi Amt 0 1 With E 10 1 1 Without E 90 2 2 With E 47 3 2 Without E 62 4 3 Normal 255 5 4 Normal 88
⚠️ 注意事项：
- str.endswith('_E') 自动跳过 NaN 或长度不足的字符串，避免 IndexError；若需严格匹配末两位，可用 str[-2:].eq('_E')，但需先 fillna('')；
- merge(..., how='left') 确保 df2 的每一行都出现在结果中（即使某组合在 df1 中无数据，Amt 将为 NaN）；
- 若 df2 中存在 df1 无对应 Acc 的记录，建议添加 validate='m:1' 参数校验关联完整性；
- 性能上，此方案时间复杂度为 O(n)，远优于嵌套 apply 的 O(n²)。
该方法结构清晰、逻辑分离、易于扩展（新增指标类型只需追加一个子集），是处理多条件行级聚合任务的标准实践。
