本教程将详细介绍如何使用pandas库将dataframe中的多列数值数据高效地转换为以特定列为键，其余数值列聚合成一个列表的新dataframe结构。文章通过实例代码演示了如何利用iloc、apply和concat等pandas函数，避免了低效的循环操作，从而优化数据处理流程，提高性能。
引言：数据重塑的需求
在数据分析和处理过程中，我们经常会遇到需要将DataFrame中多个相关数值列合并成一个列表列的场景。这种重塑操作常见于简化数据结构、为后续的API调用准备数据，或是在某些数据库操作中将多维数据扁平化。例如，一个DataFrame可能包含一个标识符列（如id）、一个描述性列（如name），以及多个表示不同测量或属性的数值列。
考虑以下原始DataFrame结构：
import pandas as pd
data = {
'id': [1, 2, 3],
'name': ['AAA', 'BBB', 'CCC'],
'value1': [1.0, 2.0, 3.0],
'value2': [1.5, 2.3, 3.6],
'value3': [1.8, 2.5, 3.7]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
输出：
原始DataFrame: id name value1 value2 value3 0 1 AAA 1.0 1.5 1.8 1 2 BBB 2.0 2.3 2.5 2 3 CCC 3.0 3.6 3.7
我们的目标是将value1、value2、value3这三列的数据，在保持id和name列不变的基础上，聚合成一个名为value的列表列，形成如下所示的结构：
id name value 0 1 AAA [1.0, 1.5, 1.8] 1 2 BBB [2.0, 2.3, 2.5] 2 3 CCC [3.0, 3.6, 3.7]
低效方法及其弊端
初学者可能会倾向于使用循环（如for循环）遍历DataFrame的每一行，手动构建列表并添加新列。然而，对于Pandas DataFrame而言，循环操作通常效率低下，尤其是在处理大型数据集时，会导致显著的性能瓶颈。Pandas提供了高度优化的向量化操作，能够以C语言级别的性能执行数据处理任务，因此应尽量避免显式循环。
Pandas高效解决方案
Pandas提供了一系列强大的函数，可以高效地完成这种数据重塑任务。核心思路是：首先，分离出作为键的列和需要聚合的数值列；然后，对数值列进行行级别的列表聚合；最后，将处理后的数值列与键列重新合并。
以下是实现这一目标的具体步骤和代码示例：
1. 分离DataFrame的键列和值列
我们可以使用iloc（基于整数位置的索引）来选择DataFrame的不同部分。
- 选择键列： df.iloc[:, :2] 会选择从第一列到第二列（不包括第三列），即id和name列。
- 选择值列： df.iloc[:, 2:] 会选择从第三列到最后一列，即value1、value2和value3列。
2. 对值列进行行级别聚合
对选定的值列（df.iloc[:, 2:]），我们可以使用.apply(list, axis=1)方法。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- apply(list, axis=1)：这个方法会将list函数应用到DataFrame的每一行（axis=1表示按行操作）。对于每一行，它会将该行的所有列值收集到一个列表中。
- .rename('value')：聚合后的结果是一个Series，我们需要给这个新的Series一个有意义的名字，例如'value'。
3. 合并结果
最后，使用pd.concat()函数将分离出的键列和新生成的列表列横向合并。
- pd.concat([part1, part2], axis=1)：part1是原始的键列DataFrame，part2是新生成的列表Series。axis=1表示按列合并。
完整代码示例
import pandas as pd
# 原始DataFrame
data = {
'id': [1, 2, 3],
'name': ['AAA', 'BBB', 'CCC'],
'value1': [1.0, 2.0, 3.0],
'value2': [1.5, 2.3, 3.6],
'value3': [1.8, 2.5, 3.7]
}
df = pd.DataFrame(data)
# 解决方案
result_df = pd.concat([
df.iloc[:, :2], # 选择前两列 (id, name)
df.iloc[:, 2:].apply(list, axis=1).rename('value') # 选择后续值列，转换为列表，并命名为'value'
], axis=1) # 按列合并
print("\n转换后的DataFrame:")
print(result_df)
输出：
转换后的DataFrame: id name value 0 1 AAA [1.0, 1.5, 1.8] 1 2 BBB [2.0, 2.3, 2.5] 2 3 CCC [3.0, 3.6, 3.7]
注意事项与最佳实践
性能优势： 这种方法利用了Pandas的内置优化，避免了Python层面的循环，对于大数据集具有显著的性能优势。
-
列选择的灵活性：
- 如果键列和值列的位置不固定，或者需要通过名称选择，可以使用df[['col1', 'col2']]来选择特定列，或df.drop(columns=['col_to_drop'])来排除列。
- 例如，如果只想保留name和value列，可以将第一部分改为df[['name']]。
-
处理缺失值（NaN）： 在进行apply(list)操作之前，需要考虑值列中是否存在缺失值（NaN）。
- 如果希望列表只包含非NaN值，可以先使用dropna(axis=1, how='all')删除全为NaN的列，或者apply(lambda x: x.dropna().tolist(), axis=1)在行级别删除NaN。
- 如果希望NaN值保留在列表中，则无需额外处理。
- 如果希望用特定值填充NaN，可以使用df.fillna(value)。
# 示例：处理NaN df_with_nan = pd.DataFrame({ 'id': [1, 2], 'name': ['A', 'B'], 'v1': [1.0, 2.0], 'v2': [None, 2.5], 'v3': [3.0, None] }) # 方法一：在行级别过滤NaN result_filtered_nan = pd.concat([ df_with_nan.iloc[:, :2], df_with_nan.iloc[:, 2:].apply(lambda x: x.dropna().tolist(), axis=1).rename('value') ], axis=1) print("\n处理NaN（过滤）后的DataFrame:") print(result_filtered_nan)
方法二：填充NaN
result_filled_nan = pd.concat([ df_with_nan.iloc[:, :2], df_with_nan.iloc[:, 2:].fillna(0).apply(list, axis=1).rename('value') ], axis=1) print("\n处理NaN（填充0）后的DataFrame:") print(result_filled_nan)
-
动态列选择： 如果值列的数量或名称不固定，可以通过编程方式确定它们。例如，可以通过排除非数值列来选择所有数值列：
value_cols = df.select_dtypes(include=['number']).columns.tolist() key_cols = [col for col in df.columns if col not in value_cols] result_dynamic = pd.concat([ df[key_cols], df[value_cols].apply(list, axis=1).rename('value') ], axis=1) print("\n动态选择列转换后的DataFrame:") print(result_dynamic)
总结
本教程详细阐述了如何使用Pandas高效地将DataFrame的多列数值数据聚合成一个列表列。通过利用iloc进行列选择，apply(list, axis=1)进行行级聚合，以及pd.concat进行最终合并，我们能够以简洁且高性能的方式完成数据重塑。掌握这种技术对于处理复杂数据集和优化数据管道至关重要，它使得Pandas在数据清洗、特征工程和数据准备阶段更加强大和灵活。在实际应用中，务必根据具体需求考虑缺失值处理和列选择策略，以确保数据转换的准确性和健壮性。
