计算 Pandas DataFrame 中沿对角线方向的平均值（忽略 NaN）-Python教程-PHP中文网

计算 Pandas DataFrame 中沿对角线方向的平均值（忽略 NaN）

本文介绍如何在 Pandas 中高效计算“半对角线”（即从左上向右下延伸、每行起始列递增的斜向序列）的平均值，适用于具有三角形 NaN 模式的数值矩阵，核心是利用 NumPy 的 np.take_along_axis 对每行非空元素左对齐后按列求均值。

本文介绍如何在 pandas 中高效计算“半对角线”（即从左上向右下延伸、每行起始列递增的斜向序列）的平均值，适用于具有三角形 nan 模式的数值矩阵，核心是利用 numpy 的 `np.take_along_axis` 对每行非空元素左对齐后按列求均值。

在处理如实验数据、时间序列展开矩阵或累加型指标表时，常遇到一种特殊结构：数据呈“下三角填充”形式——第 0 行从第 1 列开始有值，第 1 行从第 2 列开始有值，依此类推，形成一条清晰的主对角线下方有效数据带。此时，若需为每一行提取其“对角线延伸路径”上的所有有效值并计算平均值（即问题中描述的 average(D2,E3,F4,...)），直接循环或手动索引效率低且易出错。Pandas + NumPy 提供了一种向量化、高性能的解决方案。

✅ 核心思路：左对齐有效值，再按列求均值

观察原始 DataFrame 的数值部分（列 1 至 18），其有效数据天然构成一个上三角转置形态：每行的非空值从某列开始连续向右延伸。我们希望将每行的非空值“左对齐”，使所有有效数字集中在左侧连续列中，这样第 0 列就包含所有行的首个有效值（即原对角线起点），第 1 列包含所有行的第二个有效值（即原对角线下方一格），以此类推。随后，对每一列（即每个“对角线偏移位置”）使用 np.nanmean 即可得到该斜向位置的平均值。

? 实现代码（推荐方案）

import pandas as pd
import numpy as np

# 构建示例数据（略，见问题）
# df = pd.DataFrame(data)

# 步骤 1：提取数值列（跳过 'SP', 'State', 'Year'）
num_cols = df.columns[3:]  # 即列名 1, 2, ..., 18
a = df[num_cols].to_numpy()  # 转为 NumPy 数组，形状 (n_rows, n_cols)

# 步骤 2：生成排序索引 —— 将 NaN 排在末尾，非NaN靠前（稳定排序）
sort_idx = np.argsort(np.isnan(a), axis=1, kind='stable')

# 步骤 3：按索引重排每行，实现左对齐
a_aligned = np.take_along_axis(a, sort_idx, axis=1)

# 步骤 4：按列（axis=0）计算带 NaN 的均值，并赋值回 DataFrame
df['diag_avg'] = np.nanmean(a_aligned, axis=0)

✅ 输出 df['diag_avg'] 即为所求：第 i 个值表示所有满足 SP == i 的行，在其各自对角线路径（如 sp=0 对应 D2,E3,...；sp=1 对应 E2,F3,...）上所有有效数值的平均值。

Supermeme
Supermeme是一款通过文字生成梗图并搜索模板的 AI Meme 创作工具。

下载

⚠️ 进阶注意：若存在上三角 NaN（非标准下三角结构）

上述方法假设 NaN 仅出现在每行末尾（典型下三角模式）。若数据中还存在上三角区域的 NaN（例如中间出现缺失），则需更鲁棒的对齐逻辑：基于“首次出现 NaN 后所有后续均为 NaN”的隐含假设，用累积掩码定位有效区间：

# 更健壮版本（兼容任意 NaN 分布，但要求每行有效值连续且左对齐）
mask = ~df[num_cols].notna().cummax(axis=1).to_numpy()  # True where NaN or after first NaN
sort_idx = np.argsort(mask, axis=1, kind='stable')
a_aligned = np.take_along_axis(a, sort_idx, axis=1)
df['diag_avg'] = np.nanmean(a_aligned, axis=0)