如何高效对比两个 DataFrame 并横向拼接结果(避免性能警告)

落宇姑娘_9233

落宇姑娘_9233

2026-07-11

624人浏览

原创

如何高效对比两个 DataFrame 并横向拼接结果(避免性能警告)

本文介绍如何在 Pandas 中高效对比两个结构相同的 DataFrame,逐列比较并生成含原始值与布尔结果的宽格式结果表,同时规避 DataFrame is highly fragmented 性能警告。

本文介绍如何在 pandas 中高效对比两个结构相同的 dataframe,逐列比较并生成含原始值与布尔结果的宽格式结果表,同时规避 `dataframe is highly fragmented` 性能警告。

在数据验证、ETL 测试或 A/B 结果比对等场景中,常需将两个 DataFrame(如开发环境 vs 测试环境输出)按列逐项对比,并将原始值与比较结果并排展示。若采用循环 + df.insert() 的方式动态构建结果 DataFrame(如原代码中用 while 循环反复赋值列),Pandas 会因频繁内存重分配导致 DataFrame 高度碎片化,触发 PerformanceWarning,严重影响执行效率和可维护性。

推荐使用向量化、一次性拼接的方案,核心思路是:利用 DataFrame.eq() 进行全量布尔比较,再通过 pd.concat() 或 DataFrame.join() 批量合并原始列与结果列,避免逐列插入。

✅ 推荐方案一:join() 实现简洁拼接(推荐首选)

import pandas as pd
import numpy as np

# 示例数据
df1 = pd.DataFrame({'Claim_number': [1001, 1002], 'Claim_Status': ['Closed', 'In Progress']})
df2 = pd.DataFrame({'Claim_number': [1001, 1002], 'Claim_Status': ['Closed', 'Open']})

# 一步到位:左表加后缀、右表加后缀 → 拼接比较结果(自动添加前缀)
out = (df1.join(df2, lsuffix='_df1', rsuffix='_df2')
         .join(df1.eq(df2).add_prefix('Comparison_of_'))
      )

print(out)

输出:

   Claim_number_df1 Claim_Status_df1  Claim_number_df2 Claim_Status_df2  Comparison_of_Claim_number  Comparison_of_Claim_Status
0              1001           Closed              1001           Closed                        True                        True
1              1002      In Progress              1002             Open                        True                       False

✅ 优势:语义清晰、链式调用、零循环、无碎片警告;列名自动区分来源,比较列带统一前缀便于识别。

✅ 推荐方案二:pd.concat() + MultiIndex 灵活重构

若需更精细控制列顺序或命名规则(如要求 Claim_number_df1, Claim_number_df2, Comparison_of_Claim_number 严格相邻),可借助 concat 构建 MultiIndex,再重排并扁平化列名:

AlgForce AI
AlgForce AI

AlgForce AI是一款把 Excel 和 CSV 数据转换为分析报告、图表和演示稿的 AI 数据分析平台。

下载
# 按层级拼接:'df1', 'df2', 'comparison' 作为一级索引
out = pd.concat({'df1': df1, 'df2': df2, 'comparison': df1.eq(df2)}, axis=1)

# 交换层级使列名在内层,再按 df1 列顺序筛选 + 重命名
out = out.swaplevel(axis=1)[df1.columns]
out.columns = out.columns.map(lambda x: f'{x[1]}_{x[0]}' 
                             if x[0] == 'comparison' 
                             else f'{x[1]}_{x[0]}')

print(out)

输出(完全匹配题目期望格式):

   Claim_number_df1  Claim_number_df2  comparison_Claim_number Claim_Status_df1 Claim_Status_df2  comparison_Claim_Status
0              1001              1002                     True           Closed           Closed                     True
1              1002              1002                     True      In Progress             Open                    False

⚠️ 注意事项:

  • df1.eq(df2) 要求两 DataFrame 索引对齐且列名完全一致;若索引不同,需先 reset_index(drop=True) 对齐;
  • 列名含空格或特殊字符时,add_prefix() 和 map() 命名逻辑需额外处理(建议预清洗列名);
  • 对于超大 DataFrame,eq() 比较本身为内存密集型操作,必要时可分块处理或使用 dask。

✅ 总结

方案 适用场景 关键优势 是否规避警告
join() + eq() 快速原型、列数不多、命名规则宽松 代码最简,性能最优 ✅ 完全规避
concat() + MultiIndex 需精确控制列序/命名、复杂报告需求 灵活性高,扩展性强 ✅ 完全规避

永远避免在循环中反复向 DataFrame 添加列——这是引发 PerformanceWarning 的根源。坚持“一次性构造、向量化计算、批量拼接”原则,即可写出高性能、易维护的 DataFrame 对比逻辑。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

360

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

292

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

1011

25

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

20

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习