
本文介绍使用pandas将按组(如group1/group2/group3)纵向排列的数据,横向展开为宽格式:每组变为独立列,同时将另一列(column2)的值对齐填充,并将第三列(column3)以带前缀的方式同步展开。
本文介绍使用pandas将按组(如group1/group2/group3)纵向排列的数据,横向展开为宽格式:每组变为独立列,同时将另一列(column2)的值对齐填充,并将第三列(column3)以带前缀的方式同步展开。
在数据处理中,常需将“长格式”(long format)数据转换为“宽格式”(wide format),尤其当同一逻辑组(如实验组、时间点、类别)下存在多行观测,而我们希望按组横向对齐进行对比分析时。本例即典型场景:原始数据中 Column1 表示分组标识(Group1/Group2/Group3),Column2 是各组内统一命名的条目(如Value1–Value4),Column3 是各组对应的具体值(V1, x1, y1等)。目标是将每个 Group 拆分为独立列,使相同序号的 Column2 值(如所有 Value1)位于同一行,并同步拉取其 Column3 值,且列名明确标注来源组。
实现该转换的关键在于建立组内顺序索引,再分别对 Column2 和 Column3 执行透视(pivot)。由于原始数据未提供行序参考,需先用 groupby('Column1').cumcount() 为每组内行编号(从0开始),生成辅助列 cc 作为新索引——这确保了不同组中“第0行”(Value1)、“第1行”(Value2)能正确对齐。
以下是完整、可运行的解决方案:
import pandas as pd
# 示例数据构建
df = pd.DataFrame({
'Column1': ['Group1', 'Group1', 'Group1', 'Group1',
'Group2', 'Group2', 'Group2', 'Group2',
'Group3', 'Group3'],
'Column2': ['Value1', 'Value2', 'Value3', 'Value4'] * 2 + ['Value1', 'Value2'],
'Column3': ['V1', 'V2', 'V3', 'V4',
'x1', 'x2', 'x3', 'x4',
'y1', 'y2']
})
# 步骤1:添加组内累计序号作为对齐键
tmp = df.assign(cc=df.groupby('Column1').cumcount())
# 步骤2:分别透视 Column2 和 Column3,再水平拼接
pivot_col2 = tmp.pivot(index='cc', columns='Column1', values='Column2')
pivot_col3 = tmp.pivot(index='cc', columns='Column1', values='Column3').add_prefix('Column3.')
result = pd.concat([pivot_col2, pivot_col3], axis=1).rename_axis(index=None, columns=None)
print(result)
输出结果与预期一致:
Group1 Group2 Group3 Column3.Group1 Column3.Group2 Column3.Group3 0 Value1 Value1 Value1 V1 x1 y1 1 Value2 Value2 Value2 V2 x2 y2 2 Value3 Value3 NaN V3 x3 NaN 3 Value4 Value4 NaN V4 x4 NaN
⚠️ 注意事项:
- pivot 要求 index + columns 组合唯一;若某组内存在重复 cc 值(如同一组有两条 Value2),会报 ValueError: Index contains duplicate entries。此时需检查数据质量或改用 pivot_table 并指定聚合函数(如 aggfunc='first')。
- 若各组行数不等(如 Group3 只有2行),缺失位置自动填充 NaN,符合预期;如需其他填充值(如空字符串),可在最后调用 .fillna('')。
- 列名 Column3.Group1 等由 .add_prefix() 生成,语义清晰;若需自定义前缀(如 'C3_'),可替换为 .add_prefix('C3_')。
该方法简洁高效,核心思想是「用组内序号对齐 → 分列透视 → 合并结果」,适用于任意数量分组和动态列结构,是pandas宽长转换的经典实践。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











