本文介绍如何使用 pandas 的 groupby + diff 组合高效计算满足特定条件（如时间与属性组合）的列间差值，避免低效嵌套循环，适用于大规模数据处理。
本文介绍如何使用 pandas 的 groupby + diff 组合高效计算满足特定条件（如时间与属性组合）的列间差值，避免低效嵌套循环，适用于大规模数据处理。
在数据分析中，常需对满足特定分组条件（如相同时间点、相同类别标签）的数据子集，计算某数值列相对于其前一行的变化量（即一阶差分）。传统做法是用多重 for 循环遍历唯一组合并手动计算差值，但这种方式在大数据场景下性能极差，且代码冗长易错。
Pandas 提供了简洁高效的向量化解决方案：groupby(...)[col].diff()。该方法会按指定列（如 ['Time', 'Prop1']）分组后，在每组内对目标列（Prop2）按原始行序计算与上一行的差值（即 current - previous），首行自动返回 NaN。
以下为完整实现示例：
import pandas as pd
# 构造示例数据
df = pd.DataFrame({
"Time": [1, 2, 3, 1, 2, 3],
"Prop1": ["A", "B", "A", "A", "B", "B"],
"Prop2": [4, 5, 1, 5, 4, 3]
})
# 关键操作：按 Time 和 Prop1 分组，对 Prop2 计算组内差分
df["Prop2Diff"] = df.groupby(['Time', 'Prop1'])['Prop2'].diff()
print(df)
输出结果：
Time Prop1 Prop2 Prop2Diff 0 1 A 4 NaN 1 2 B 5 NaN 2 3 A 1 NaN 3 1 A 5 1.0 4 2 B 4 -1.0 5 3 B 3 NaN
✅ 结果说明：
- 第 0 行（Time=1, Prop1='A', Prop2=4）是该分组首行 → Prop2Diff = NaN；
- 第 3 行（Time=1, Prop1='A', Prop2=5）紧随其后 → 5 - 4 = 1.0；
- 第 1 行（Time=2, Prop1='B', Prop2=5）是该分组首行 → NaN；
- 第 4 行（Time=2, Prop1='B', Prop2=4）→ 4 - 5 = -1.0；
- 其余无连续同组行（如 Time=3 下 A/B 各仅一行），故均为 NaN。
⚠️ 注意事项：
- diff() 默认计算组内按原始 DataFrame 行顺序的差分，不自动排序。若业务要求按 Time 升序计算（如时间序列），请先确保数据已按分组键排序：
df = df.sort_values(['Time', 'Prop1']).reset_index(drop=True) df['Prop2Diff'] = df.groupby(['Time', 'Prop1'])['Prop2'].diff()
- 若需跨组差分（如“同一 Prop1 下相邻 Time 的差值”），则应改用 groupby('Prop1').apply(lambda g: g.sort_values('Time')['Prop2'].diff())；
- diff(periods=n) 支持跨 n 行差分（如 diff(2) 计算隔一行的差值）；
- 该操作完全向量化，性能远超 Python 循环，尤其适合百万级以上数据。
总结：groupby([...])[col].diff() 是处理“条件差分”问题的标准范式——逻辑清晰、代码简短、性能卓越，是 Pandas 高效数据处理的核心技巧之一。
