本文介绍如何在 Pandas 中实现带业务逻辑约束的滞后（lag）特征构造——仅当相邻行的 tag 值不同时才进行滞后赋值，避免因重复 tag 导致的数据泄露。
本文介绍如何在 pandas 中实现带业务逻辑约束的滞后（lag）特征构造——仅当相邻行的 `tag` 值不同时才进行滞后赋值，避免因重复 `tag` 导致的数据泄露。
在时间序列或用户行为建模中，常需构造滞后特征（如 value_lag = value.shift(1)），但原始 shift() 方法仅按索引顺序平移，无法感知业务语义。例如，当同一 ID 下连续多行具有相同 tag（表示同源数据），直接使用 groupby('ID')['value'].shift(1) 会错误地将前一 tag 的值赋予当前重复 tag 行，造成信息穿越（data leakage）。理想行为是：仅当当前行与前一行 tag 不同时，才取前一个有效 tag 对应的 value 作为滞后值；若 tag 相同，则复用上一个非重复 tag 的滞后值（即“跳过”重复项）。
解决该问题的核心思路是：先对 (ID, tag) 组合去重，确保每个 ID 下 tag 唯一且有序，再在此精简视图上执行 shift()，最后通过 join 将结果精准映射回原始 DataFrame。该方法既保持了原始行结构，又严格遵循了“按 tag 变化触发滞后”的业务规则。
以下是完整、可复现的实现代码：
import pandas as pd
df = pd.DataFrame({
'ID': [1, 1, 1, 2, 2, 2, 2, 3, 3, 3],
'tag': [10, 11, 15, 11, 12, 12, 13, 16, 17, 18],
'value': [21, 19, 22, 41, 43, 43, 38, 9, 12, 16]
})
# 关键步骤：构建无重复 tag 的滞后视图，并精确回填
lag_series = (
df.sort_values(by=['ID', 'tag']) # 按 ID 和 tag 排序，保证逻辑顺序
.drop_duplicates(['ID', 'tag']) # 去除同一 ID 下重复的 tag 行
.set_index(['ID', 'tag']) # 设置复合索引，便于后续 join
.groupby('ID')['value'] # 按 ID 分组
.shift(1) # 执行滞后（此时每组内 tag 唯一）
.rename('value_lag') # 命名新列
)
# 将滞后结果通过 (ID, tag) 精准关联回原始 df
df = df.join(lag_series, on=['ID', 'tag'])
print(df)
输出结果完全符合预期：
ID tag value value_lag 0 1 10 21 NaN 1 1 11 19 21.0 2 1 15 22 19.0 3 2 11 41 NaN 4 2 12 43 41.0 5 2 12 43 41.0 # ✅ 不再是 43.0，正确复用前一有效 tag 的值 6 2 13 38 43.0 7 3 16 9 NaN 8 3 17 12 9.0 9 3 18 16 12.0
⚠️ 注意事项：
- drop_duplicates(['ID','tag']) 必须在 sort_values 之后执行，否则排序失效，导致滞后顺序错乱；
- on=['ID','tag'] 是 join 的关键，它确保即使原始数据中存在重复 (ID, tag) 组合（如示例中第4、5行），也能将同一 tag 对应的滞后值统一填充，而非丢失或错位；
- 此方案天然支持多级分组（如增加 category 列），只需扩展 drop_duplicates 和 join on 的列列表即可；
- 若需更高性能（大数据量），可考虑用 pd.merge 替代 join，或预先构建 tag 变化标记列配合 cumsum() 实现向量化逻辑。
该方法简洁、健壮且符合 Pandas 最佳实践，是处理“条件滞后”类特征工程问题的标准范式。
