本文介绍如何在 pandas dataframe 中高效检测每列中最大连续 nan 序列长度，并据此筛选出不含长连续缺失段的列。
本文介绍如何在 pandas dataframe 中高效检测每列中最大连续 nan 序列长度，并据此筛选出不含长连续缺失段的列。
在数据预处理中，连续缺失值（NaN）往往比离散缺失更具破坏性——它们可能暗示采集中断、传感器故障或系统性记录异常。因此，识别并剔除存在超过两个连续 NaN 的列，是提升数据质量的关键一步。
核心思路是：对每列分别进行「连续组标记 → 统计每组 NaN 长度 → 取最大值」。Pandas 提供了简洁高效的向量化方案，无需循环或自定义迭代器。
✅ 推荐实现（一行式链式操作）
import pandas as pd
import numpy as np
# 构造示例数据
nan = float('nan')
data = {
'col1': [1, nan, nan, nan, nan, 1, nan, nan],
'col2': [1, 1, nan, 1, 0, 0, 1, 0],
'col3': [nan, 0, nan, 1, 0, nan, nan, nan],
'col4': [1, 0, 0, 1, 0, 1, 1, 1]
}
df = pd.DataFrame(data)
# 计算每列最大连续 NaN 长度（≥2 才视为问题）
max_consecutive_nans = (
df.agg(lambda x:
x.isna() # → 布尔序列：True 表示 NaN
.groupby(x.notna().cumsum()) # → 按前一个非空位置分组（每段连续 NaN 属于同一组）
.cumsum() # → 组内累计计数：得到每处 NaN 的“组内序号”
.max() # → 取该组最长连续长度（即本组 cumsum 最大值）
)
.mask(lambda x: x == 1, 0) # → 修正：单个孤立 NaN 不算“连续”，统一置为 0
.to_dict()
)
print(max_consecutive_nans)
# 输出：{'col1': 4, 'col2': 0, 'col3': 3, 'col4': 0}
? 原理详解
- x.notna().cumsum() 生成一个递增的分组标签：每当遇到非空值，计数加 1；NaN 保持上一非空值对应的标签。这将每段连续 NaN 映射到唯一组 ID。
- x.isna().groupby(...).cumsum() 在每个组内对 True 累加，使连续 NaN 对应 1, 2, 3, ...，从而自然体现长度。
- .max() 直接提取各列中最长连续段的数值（即最大计数值）。
- .mask(...) 是关键后处理：若某列仅含孤立 NaN（如 [1, NaN, 2]），其 cumsum.max() 为 1，但不符合“连续 ≥2”的判定条件，故统一归零。
✅ 自动过滤列（最终目标）
基于上述结果，可直接筛选出“安全列”：
threshold = 2 safe_cols = [col for col, max_nan in max_consecutive_nans.items() if max_nan <h3>⚠️ 注意事项</h3>
- 此方法不依赖索引顺序，但要求数据按时间/逻辑顺序排列（因“连续”是位置概念）；
- 若需保留原始列顺序，safe_cols 已按 df.columns 顺序生成；
- 对超大数据集，该方案完全向量化，性能远优于 apply + 循环遍历；
- 若需同时返回具体 NaN 区间位置（如起始行索引），可扩展使用 groupby(...).apply(lambda g: g.index.tolist())，但会牺牲简洁性。
通过这一策略，你不仅能精准识别高风险列，还能以声明式代码实现稳健的数据清洗流程，为后续建模打下可靠基础。
