Pandas 实战：按国家筛选近5年内最新非空数据-Python教程-PHP中文网

Pandas 实战：按国家筛选近5年内最新非空数据

本文介绍如何在 pandas 中高效筛选每个国家在最近5年内（含）的最新非空数值记录，自动跳过空值并回溯年份，避免循环遍历，兼顾性能与可读性。

本文介绍如何在 pandas 中高效筛选每个国家在最近5年内（含）的最新非空数值记录，自动跳过空值并回溯年份，避免循环遍历，兼顾性能与可读性。

在实际数据分析中，常需从时间序列型宽表（如各国历年指标）中提取“最新有效数据”——但“最新”不能简单等同于最大年份，因为目标字段可能存在缺失（空字符串、NaN 等）。例如，某国2021年数据为空，需回退至2020年；若2020年也为空，则继续回退，但仅限最近5年范围内（如当前最高年份为2021，则只查2017–2021）。这种带条件约束的“优先级查找”若用 Python 原生 for 循环实现，不仅低效，也违背 Pandas 向量化设计哲学。

以下以示例数据为例，展示两种专业、高效且可复用的解决方案：

import pandas as pd

df1 = pd.DataFrame(
    data=[['Afghanistan','2015','5.1'],
          ['Afghanistan','2016','6.1'],
          ['Djibouti','2021',''],
          ['Djibouti','2020',''],
          ['Djibouti','2019','30'],
          ['Egypt','2019',''],
          ['Egypt','2018',''],
          ['Egypt','2015','37'],
          ['Bahrain','2020','32'],
          ['Bahrain','2021','']],
    columns=['Country', 'Reference Year', 'value']
)

✅ 方案一：排序 + groupby.last()（推荐，简洁高效）

核心思想：构造一个布尔标记列 m，标识该行是否同时满足两个条件：

年份 ≥（全局最大年份 − 5）
value 非空（即不等于空字符串）

再按 Country → m（False 在前，True 在后）→ Reference Year 升序排序，确保每组内“有效且较新”的记录排在最后；最后对每组取 .last() 即得所求。

# 步骤1：将年份转为数值（空字符串转 NaN，便于比较）
df = df1.copy()
df['Reference Year'] = pd.to_numeric(df['Reference Year'], errors='coerce')

# 步骤2：构造有效数据掩码 & 排序
threshold = df['Reference Year'].max() - 5
df_with_mask = (
    df.assign(m=(df['Reference Year'] >= threshold) & (df['value'] != ''))
      .sort_values(by=['Country', 'm', 'Reference Year'])
)

# 步骤3：按 Country 分组取 last，并清理结果
result = (df_with_mask
          .groupby('Country', as_index=False)
          .last()[['Country', 'value']]
          .assign(**{'Reference Year': 'Most recent data'}))

print(result)

输出：

       Country value Reference Year
0  Afghanistan   6.1  Most recent data
1      Bahrain    32  Most recent data
2     Djibouti    30  Most recent data
3        Egypt         Most recent data

⚠️ 注意事项：

sort_values(..., ascending=[True, True, True]) 是默认行为，确保 m=False（无效行）排在 m=True（有效行）之前，而同 m 下年份升序 → 最新有效行自然落在组末；

若某国在5年内无任何非空值，则 last() 将返回该组最后一个原始记录的 value（可能是空字符串），符合预期；

errors='coerce' 保证年份转换安全，异常值变 NaN，后续比较自动为 False。

✅ 方案二：自定义聚合函数（灵活性更高）

当业务逻辑更复杂（如需返回年份+值、加日志、或结合外部参数）时，可封装 apply 函数：

def get_latest_valid_value(group, threshold):
    # 筛选：年份达标且值非空
    valid_mask = (group['Reference Year'] >= threshold) & (group['value'] != '')
    valid_years = group.loc[valid_mask, 'Reference Year']

    if valid_years.empty:
        return ''  # 5年内无有效数据
    else:
        latest_idx = valid_years.idxmax()  # 取最大年份对应索引
        return group.loc[latest_idx, 'value']

# 应用
df['Reference Year'] = pd.to_numeric(df['Reference Year'], errors='coerce')
threshold = df['Reference Year'].max() - 5
result_series = df.groupby('Country').apply(get_latest_valid_value, threshold)
result_df = result_series.reset_index(name='value').assign(**{'Reference Year': 'Most recent data'})

? 总结与建议

维度	方案一（排序+last）	方案二（自定义 apply）
性能	⭐⭐⭐⭐⭐（纯向量化，无 Python 循环）	⭐⭐⭐（每组调用 Python 函数，大数据量略慢）
可读性	高（逻辑链清晰）	中（需理解函数内部逻辑）
扩展性	中（新增条件需调整 assign 和 sort）	高（任意逻辑可写入函数）
适用场景	标准化筛选（年份范围 + 非空）	复杂规则（如多字段校验、条件权重、fallback 策略）