本文介绍如何将 pandas dataframe 的每一行视为一个整体单元，高效生成指定数量（如 3）的行组合，并将组合结果横向展开为新 dataframe，列名按原列重复排列。
本文介绍如何将 pandas dataframe 的每一行视为一个整体单元，高效生成指定数量（如 3）的行组合，并将组合结果横向展开为新 dataframe，列名按原列重复排列。
在数据分析与特征工程中，常需基于原始样本构造高阶交互组合（例如两两配对、三元组等），但关键在于：每行应被当作不可分割的逻辑单元，而非单独拆解各列参与组合。直接对列值暴力枚举会导致语义错误；而逐行组合则能保持数据完整性。
以下提供一种兼顾清晰性与性能的解决方案，核心依赖 itertools.combinations —— 它专为高效生成无序、不重复的索引/元素组合而设计，时间复杂度为 O(C(n,k))，且内存友好（可配合生成器避免全量缓存）。
✅ 基础实现（推荐初学者理解逻辑）
import pandas as pd
import itertools
df = pd.DataFrame({'A': ['a', 'b', 'c', 'd'], 'B': ['1', '2', '3', '4']})
combination_size = 3
# 1. 生成所有行组合（tuple of arrays，每项为 df.iloc[i].values）
row_combinations = itertools.combinations(df.values, combination_size)
# 2. 将每个组合（如 (['a','1'], ['b','2'], ['c','3'])）展平为单列表 [a,1,b,2,c,3]
flattened = [list(itertools.chain(*combo)) for combo in row_combinations]
# 3. 构建新 DataFrame，列名按原列循环重复
columns = [col for _ in range(combination_size) for col in df.columns]
result_df = pd.DataFrame(flattened, columns=columns)
print(result_df)
输出：
A B A B A B 0 a 1 b 2 c 3 1 a 1 b 2 d 4 2 a 1 c 3 d 4 3 b 2 c 3 d 4
⚡ 高效优化版（适用于大数据场景）
当 df 行数较大（如 >1000）时，list(itertools.combinations(...)) 会一次性加载全部组合到内存，造成峰值压力。可通过生成器表达式 + numpy.tile 显著降低内存开销并提升构建速度：
import numpy as np
from itertools import chain
# 使用生成器避免中间 list 存储
combinations_gen = (chain.from_iterable(c) for c in itertools.combinations(df.values, combination_size))
result_df = pd.DataFrame(combinations_gen,
columns=np.tile(df.columns, combination_size))
✅ 优势说明：
np.tile(df.columns, k)比列表推导式更简洁高效；chain.from_iterable是itertools.chain(*)的轻量替代，避免额外函数调用开销；整个流程全程流式处理，内存占用接近 O(k × cols) 而非 O(C(n,k) × k × cols)。
⚠️ 注意事项与最佳实践
-
列名歧义问题：输出中重复列名（如多个
A、B）在后续操作中可能导致.loc或.groupby失效。建议在实际使用前重命名列，例如：result_df.columns = [f"{col}_{i}" for i in range(combination_size) for col in df.columns] -
性能边界提醒：组合总数为 C(n, k)，当 n=1000, k=5 时已达 ~8×10¹² 量级，务必预先校验
scipy.special.comb(n, k, exact=True)是否可接受，否则应改用采样或分块策略。 -
类型一致性：
df.values返回ndarray，若原始列含混合类型（如 str + datetime），建议先统一转换为object或使用df.to_numpy(dtype=object)确保安全展平。
综上，该方法以最小侵入性实现了语义正确的行级组合构造，在可扩展性与易用性之间取得良好平衡，是 Pandas 生态中处理组合生成任务的推荐范式。
