使用Pandas高效生成两列数字组合的DataFrame

胖丽君_4353

胖丽君_4353

2025-11-20

1022人浏览

原创

使用Pandas高效生成两列数字组合的DataFrame

本文详细介绍了如何利用pandas库高效地创建一个包含两列数字组合的dataframe。针对给定范围,通过巧妙运用列表推导式和字典构建数据,最终生成一个左列重复、右列循环的二维表格。教程提供了清晰的代码示例和输出解释,旨在帮助用户掌握pandas数据构建的专业方法。

创建具有指定范围数字组合的DataFrame

在数据处理和分析中,我们经常需要生成特定模式的数据集,例如创建两列数字,其中一列按顺序重复,另一列则在指定范围内循环,以形成所有可能的组合。本教程将介绍如何使用Pandas库以高效且Pythonic的方式实现这一目标。

问题描述

假设我们有两个范围 range1 和 range2,目标是生成一个DataFrame,其结构如下:

  • 第一列(例如 Column1)应包含 1 到 range1 的每个数字,每个数字重复 range2 次。
  • 第二列(例如 Column2)应包含 1 到 range2 的每个数字,并循环重复 range1 次。

例如,如果 range1 = 2 且 range2 = 3,期望的输出DataFrame应为:

   Column1  Column2
0        1        1
1        1        2
2        1        3
3        2        1
4        2        2
5        2        3

传统(非推荐)方法及其局限性

一些初学者可能会尝试使用嵌套循环来生成这些数字,并尝试在循环内部构建DataFrame或写入CSV文件。例如:

import pandas as pd

d1 = 2
d2 = 3
for i in range(1, d1 + 1):
    for j in range(1, d2 + 1):
        print(i, j)
        # 这种方式会在每次循环时创建新的DataFrame并覆盖文件,效率极低且不符合预期
        # pd.DataFrame([(i, j)], columns=['proteinA', 'proteinB']).to_csv('prediction_test_123.csv')

这种方法的主要问题在于:

Biopython
Biopython

全面的分子生物学工具集。适用于序列操作、文件解析(FASTA/GenBank/PDB)、系统发育分析,以及通过 Bio.Entrez 以编程方式访问 NCBI/

下载
  1. 效率低下: 在循环内部重复创建DataFrame对象或执行文件I/O操作(如 to_csv)是非常低效的,尤其是在处理大量数据时。
  2. 不符合Pandas范式: Pandas鼓励使用向量化操作和一次性构建整个DataFrame,而不是逐行添加。
  3. 结果错误: 如果尝试在循环中 to_csv,每次都会覆盖之前的内容,最终文件将只包含最后一行数据。

使用Pandas的推荐方法

Pandas提供了更优雅和高效的方式来生成此类数据。我们可以利用列表推导式来预先构建好所有数据,然后一次性传入 pd.DataFrame 构造函数。

核心思路

  1. 构建 Column1: 对于 range1 中的每个数字 i,我们需要将其重复 range2 次。这可以通过一个嵌套的列表推导式实现:[i for i in range(1, range1 + 1) for _ in range(range2)]。
  2. 构建 Column2: 对于 range2 中的数字序列 [1, 2, ..., range2],我们需要将其重复 range1 次。这可以通过 list(range(1, range2 + 1)) * range1 实现。
  3. 创建DataFrame: 将这两列数据放入一个字典中,然后使用 pd.DataFrame() 构造函数创建DataFrame。

代码示例

import pandas as pd

# 定义范围
range1 = 2
range2 = 3

# 使用列表推导式和列表乘法高效生成数据
data = {
    'Column1': [i for i in range(1, range1 + 1) for _ in range(range2)],
    'Column2': list(range(1, range2 + 1)) * range1
}

# 创建DataFrame
df = pd.DataFrame(data)

# 打印结果
print(df)

输出结果

运行上述代码,将得到以下DataFrame:

   Column1  Column2
0        1        1
1        1        2
2        1        3
3        2        1
4        2        2
5        2        3

进一步思考与应用

这种方法不仅适用于简单的数字序列,还可以扩展到更复杂的场景:

  • 自定义序列: 如果 Column1 或 Column2 需要基于非连续或自定义序列,可以调整列表推导式中的迭代器。
  • 多列组合: 类似的方法可以扩展到三列或更多列的组合,通过更复杂的列表推导式或使用 itertools.product 等工具来生成所有组合。
  • 性能: 这种向量化的数据生成方式比循环逐行添加数据要快得多,尤其是在处理大规模数据集时。

总结

本教程展示了如何利用Pandas库结合Python的列表推导式和列表操作,高效地创建一个具有特定数字组合模式的DataFrame。通过一次性构建所有数据,并将其传递给 pd.DataFrame 构造函数,我们能够避免低效的循环操作,并遵循Pandas的推荐实践,从而编写出更简洁、高效和可维护的代码。掌握这种数据生成技巧对于任何Pandas用户来说都是一项基本而重要的技能。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python csv csv文件

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

360

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

292

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

1011

25

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

160

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

120

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程