本文介绍一种基于布尔掩码与列偏移（shift）的向量化方法，无需循环即可精准识别如“high→low”“low→med→high”等Placement序列模式，并为每个匹配序列的末尾行添加Diff（首尾Value差）和Measured From（起始Order）两列。
本文介绍一种基于布尔掩码与列偏移（`shift`）的向量化方法，无需循环即可精准识别如“high→low”“low→med→high”等placement序列模式，并为每个匹配序列的末尾行添加diff（首尾value差）和measured from（起始order）两列。
在处理时序或状态序列类数据时，常需检测特定状态组合（如“高→低”“低→中→高”）并基于其首尾元素执行计算。Pandas中直接遍历（如iterrows()）不仅低效，还易出错；而利用向量化布尔索引配合shift()操作，可将模式匹配完全转化为数组级运算，显著提升性能与可读性。
核心思路是：将每种目标序列（如high → low）转化为一组对齐的布尔条件——例如，“当前行为low且下一行是high”，即 df['Placement'].eq('low') & df['Placement'].shift(-1).eq('high')。通过shift(-n)可向前查看第n行的值，从而构建跨行逻辑关系。
以下为完整实现步骤：
import pandas as pd
# 示例数据
df = pd.DataFrame({
'Placement': ['high','med','high','low','med','low','med','high','med','low','high','med','high','med','low'],
'Value': [10,5,9,3,7,2,6,9,4,2,8,6,8,5,1],
'Order': list(range(1, 16))
})
# 定义基础布尔掩码
l = df['Placement'].eq('low')
m = df['Placement'].eq('med')
h = df['Placement'].eq('high')
# 构建四种目标序列的布尔掩码（作用于序列**末尾行**）
m1 = l & h.shift(-1) # "high → low"：当前是low，下一行是high → 序列末尾为low
m2 = h & l.shift(-1) # "low → high"：当前是high，下一行是low → 序列末尾为high
m3 = l & m.shift(-1) & h.shift(-2) # "high → med → low"：当前是low，上1是med，上2是high → 序列末尾为low
m4 = h & m.shift(-1) & l.shift(-2) # "low → med → high"：当前是high，上1是med，上2是low → 序列末尾为high
# 辅助函数：对满足掩码m的行，生成结果子集（含Diff和Measured From）
def get_frame(mask, nshift):
# 取mask为True的行作为结果行（即序列末尾）
result_rows = df.loc[mask, ["Placement", "Value", "Order"]].copy()
# 首行索引 = 当前行索引 - nshift（因mask由后n行触发）
first_value = df.loc[mask.shift(nshift, fill_value=False), "Value"].values
first_order = df.loc[mask.shift(nshift, fill_value=False), "Order"].values
result_rows["Diff"] = result_rows["Value"] - first_value
result_rows["Measured From"] = first_order
return result_rows
# 分别处理四类模式，合并并按原始索引排序
out = pd.concat([
get_frame(m1, 1), # high→low：末尾low，首行为其前1行（即shift(-1)的反向偏移）
get_frame(m2, 1), # low→high：末尾high，首行为其前1行
get_frame(m3, 2), # high→med→low：末尾low，首行为其前2行
get_frame(m4, 2) # low→med→high：末尾high，首行为其前2行
], ignore_index=False).sort_index()
print(out)
✅ 输出结果：
Placement Value Order Diff Measured From 3 low 3 4 -6 3 7 high 9 8 7 6 9 low 2 10 -7 8 10 high 8 11 6 10 14 low 1 15 -7 13
? 关键注意事项：
- mask.shift(-n) 表示“当前行是否满足：从当前行起，向后第n行符合某条件”，适用于定义序列末尾；
- get_frame 中 mask.shift(nshift, fill_value=False) 则用于定位序列首行（即末尾行索引减去nshift），确保Value和Order取值准确；
- 所有操作均为向量化，时间复杂度 O(n)，远优于显式循环；
- 若存在重叠匹配（如某行同时属于多个模式），pd.concat 会保留全部，可根据业务需求添加去重逻辑（如drop_duplicates(subset=['Order'], keep='first')）；
- 模式扩展灵活：新增序列（如high→high→low）只需增加对应掩码及nshift参数即可。
该方法兼顾性能、可维护性与表达清晰度，是处理DataFrame中多步状态序列问题的推荐实践。
