本文介绍如何高效检测 dataframe 各列中最大连续 nan 的长度，并自动剔除连续空值超过 2 个的列，适用于数据清洗与预处理场景。
本文介绍如何高效检测 dataframe 各列中最大连续 nan 的长度，并自动剔除连续空值超过 2 个的列，适用于数据清洗与预处理场景。
在实际数据分析中，连续缺失值（NaN）往往比离散缺失更具破坏性——它可能意味着传感器故障、日志中断或采集系统异常。Pandas 本身不提供直接统计“最长连续 NaN 段”的内置方法，但可通过布尔序列分组技巧高效实现。
核心思路是：对每列先生成布尔掩码 x.isna()，再利用 x.notna().cumsum() 构造“非空值累积计数”作为分组键——该键在每次遇到非空值时递增，从而将每段连续 NaN 自动归入同一组；随后在各组内对布尔值累加（即统计该段 NaN 长度），最后取全局最大值。
以下为完整实现：
import pandas as pd
import numpy as np
# 构造示例数据
nan = float('nan')
data = {
'col1': [1, nan, nan, nan, nan, 1, nan, nan],
'col2': [1, 1, nan, 1, 0, 0, 1, 0],
'col3': [nan, 0, nan, 1, 0, nan, nan, nan],
'col4': [1, 0, 0, 1, 0, 1, 1, 1]
}
df = pd.DataFrame(data)
# 统计每列最长连续 NaN 长度（单 NaN 视为长度 1，但要求 >2 才触发删除，故将长度为 1 的统一设为 0）
max_consecutive_nans = (
df.agg(lambda x:
x.isna()
.groupby(x.notna().cumsum()) # 按前导非空分组
.cumsum() # 统计组内累计 NaN 数
.max() # 取该列所有段的最大长度
)
.mask(lambda s: s == 1, 0) # 单独 NaN 不视为“连续段”，置为 0（可选，依业务而定）
.to_dict()
)
print("各列最长连续 NaN 长度：", max_consecutive_nans)
# 输出：{'col1': 4, 'col2': 0, 'col3': 3, 'col4': 0}
# 筛选：仅保留最长连续 NaN ≤ 2 的列（即排除 >2 的列）
threshold = 2
cols_to_keep = [col for col, max_nan in max_consecutive_nans.items() if max_nan <p>✅ <strong>关键说明</strong>： </p>
- x.notna().cumsum() 是分组核心：它为每个“非空值起始位置”分配唯一标签，NaN 区间自然形成独立组；
- .cumsum() 作用于布尔序列 x.isna() 时，等价于在每组内计算累计 NaN 个数；
- .max() 提取每列所有 NaN 段中的最大长度；
- .mask(..., 0) 可选优化：若业务中单个孤立 NaN 不构成问题，可将其长度视作 0，避免误删（如 col2 中单个 NaN 不影响保留）。
⚠️ 注意事项：
- 若列全为 NaN，则 x.notna().cumsum() 返回全 0 Series，导致 groupby(0) 形成单组，.cumsum().max() 正确返回总行数；
- 该方法时间复杂度为 O(n)，远优于循环遍历，适合大规模 DataFrame；
- 如需获取具体 NaN 段的起止索引（而不仅是长度），可改用 scipy.ndimage.label 或自定义迭代器，但本方案聚焦高效过滤场景。
最终，df_cleaned 仅保留 col2 和 col4，完全满足“剔除含超过两个连续 NaN 的列”的需求。
