本文介绍在pandas中按“true连续段+紧随其后的false”逻辑分组，并对每组内非空值进行前向+后向填充（或仅取首个有效值）的高效实现方法。
本文介绍在pandas中按“true连续段+紧随其后的false”逻辑分组，并对每组内非空值进行前向+后向填充（或仅取首个有效值）的高效实现方法。
在数据清洗与特征工程中，常需依据布尔序列划分语义连贯的逻辑组——例如将 True, True, True, False 视为一个完整单元（即“True连续段 + 后续第一个False”），而非简单按True/False二值切分。本教程聚焦这一典型场景：对每个含首非空值的逻辑组，将其值广播至组内所有行（包括结尾的False行），从而实现精准、高效的填充。
核心思路：动态构造分组标识
关键在于生成能唯一标识每个“True段+后续False”的分组键。直接使用 condition.cumsum() 会把每个True都当作新起点，而我们需要的是：每当出现False且前一行为True时，才开启新组；该False属于前一组。
为此，采用以下链式操作构造分组ID：
group_id = (
df['condition'].shift() # 将condition下移一行：原第0行变NaN，第1行=原第0行...
.eq(False) # 判断“上一行是否为False” → 得到布尔Series
.cumsum() # 累计求和：每次遇到上一行是False的位置，组号+1
.where(df['condition']) # 仅保留condition为True的位置的组号，False位置设为NaN
.ffill() # 向前填充NaN → 将每个False分配给其前一个True组
)
✅ 注意：shift().eq(False).cumsum() 实质是“检测True段起始点”，再通过 where().ffill() 将后续False“归还”给所属True段。
两种填充策略（按需选用）
✅ 方案一：ffill().bfill() —— 支持组内多有效值
适用于组内存在多个非空值、需优先用最近前值、再用最近后值补全的场景：
df['value'] = (
df.groupby(group_id)['value']
.apply(lambda x: x.ffill().bfill())
.droplevel(0) # 移除groupby引入的多级索引
)
✅ 方案二：transform('first') —— 简洁高效（推荐默认使用）
若每组最多仅有一个非空值（如示例数据），直接取首个非空值广播更高效、可读性更强：
df['value'] = df.groupby(group_id)['value'].transform('first')
transform('first') 自动跳过NaN，返回每组第一个有效值，并对齐原始索引，无需droplevel。
完整可运行示例
import pandas as pd
import numpy as np
# 构造示例数据
condition_values = [True, True, True, False, True, True, False, True,
True, False, True, True, True]
value_values = [0.1, np.nan, np.nan, np.nan, np.nan, np.nan, np.nan,
np.nan, np.nan, 0.5, np.nan, 0.9, np.nan]
df = pd.DataFrame({'condition': condition_values, 'value': value_values})
# 生成分组ID
group_id = (
df['condition'].shift().eq(False).cumsum()
.where(df['condition']).ffill()
)
# 应用填充（方案二）
df['value'] = df.groupby(group_id)['value'].transform('first')
print(df)
注意事项与最佳实践
- shift().eq(False) 是关键：它识别出每个True段的起点（即上一行是False的位置），比 ~condition.shift() 更语义清晰；
- 避免cumsum()直接作用于condition：condition.cumsum() 会把每个True都计数，无法合并False到前组；
- transform('first') 比 apply(...).droplevel(0) 性能更高，且天然支持向量化，应作为首选；
- 若组内无任何非空值，transform('first') 返回NaN，符合预期；
- 此方法完全向量化，无需循环或split/concat，时间复杂度O(n)，适用于百万级数据。
掌握这一分组填充范式，可轻松应对日志会话分割、交易订单归因、传感器事件聚合等真实业务场景中的结构化填充需求。
