如何使用 pandas 处理带有隐式多级列头的表格数据并重塑为长格式-Python教程-PHP中文网

如何使用 pandas 处理带有隐式多级列头的表格数据并重塑为长格式

本文介绍如何将具有隐式多级列头（如年份+类别组合）的宽格式 DataFrame 高效转换为结构清晰的长格式，重点利用 melt 与列索引重命名配合实现精准展开。

本文介绍如何将具有隐式多级列头（如年份+类别组合）的宽格式 dataframe 高效转换为结构清晰的长格式，重点利用 `melt` 与列索引重命名配合实现精准展开。

在实际数据分析中，我们常遇到列名本身隐含多维语义的表格——例如列头由 (year, category) 构成，但未显式定义为 MultiIndex，而是以字符串元组或嵌套结构存储。这类“隐式多级列头”无法直接被 pd.melt 识别为分层变量，需先显式构造列索引层级，再执行熔融操作。

假设原始 DataFrame 的列结构如下（已通过 orient='tight' 或手动设置构建）：

import pandas as pd

df = pd.DataFrame.from_dict({
    'index': ['X', 'Y'],
    'columns': [('2022', 'A'), ('2022', 'B'), ('2021', 'A'), ('2021', 'B')],
    'data': [[1, 2, 3, 4], [5, 6, 7, 8]],
    'index_names': ['class'],
    'column_names': ['year', 'category']  # 关键：显式声明列名层级
}, orient='tight')

此时 df.columns 是一个 MultiIndex，其 names 为 ['year', 'category']，这是后续操作的基础。

✅ 推荐方案：先设列名层级，再 melt

out = (df.rename_axis(columns=['year', 'category'])
         .melt(ignore_index=False, var_name=['year', 'category'], value_name='value')
         .reset_index(drop=True)
         .sort_values(['year', 'category', 'class'])
         .reset_index(drop=True))

该方案优势在于：

rename_axis(columns=...) 显式赋予列索引层级名称，使 melt 能自动将各层拆解为独立列；
var_name 接收列表 ['year', 'category']，确保熔融后变量列被正确命名；
ignore_index=False 保留原始行索引（即 class 值），避免信息丢失；
最终 sort_values 保证输出顺序符合示例要求（可选，提升可读性）。

? 替代方案：熔融后手动重命名变量列

若列索引未预先命名，也可先熔融再解析：

out = (df.melt(ignore_index=False, value_name='value')
         .assign(year=lambda x: x['variable_0'],
                 category=lambda x: x['variable_1'])
         .drop(columns=['variable_0', 'variable_1'])
         .reset_index(drop=True)
         .sort_values(['year', 'category', 'class'])
         .reset_index(drop=True))

注意：variable_0 / variable_1 是 melt 对 MultiIndex 列自动生成的默认变量列名，仅在列确为 MultiIndex 时有效。

⚠️ 注意事项

确保原始 DataFrame 的 columns 是 pd.MultiIndex；若列仅为字符串（如 '2022_A'），需先用 df.columns = df.columns.str.split('_', expand=True) 构造多级索引，并设置 names；
ignore_index=False 是关键——它让 melt 保留原始行索引（此处即 class 行标签），否则 class 会丢失，需额外映射；
输出中 class 列默认为行索引值，无需额外提取，天然对齐。