如何使用Python中的DataFrame合并和连接数据?

梦晨大大_2117

梦晨大大_2117

2023-05-07

4161人浏览

转载

    merge()

    1.常规合并

    ①方法1

    指定一个参照列,以该列为准,合并其他列。

    import pandas as pd
    
    df1 = pd.DataFrame({'id': ['001', '002', '003'],
                        'num1': [120, 101, 104],
                        'num2': [110, 102, 121],
                        'num3': [105, 120, 113]})
    df2 = pd.DataFrame({'id': ['001', '002', '003'],
                        'num4': [80, 86, 79]})
    print(df1)
    print("=======================================")
    print(df2)
    print("=======================================")
    df_merge = pd.merge(df1, df2, on='id')
    print(df_merge)

    python中DataFrame数据合并merge()和concat()方法怎么用

    ②方法2

    要实现该合并,也可以通过索引来合并,即以index列为基准。将left_index 和 right_index 都设置为True
    即可。(left_index 和 right_index 都默认为False,left_index表示左表以左表数据的index为基准, right_index表示右表以右表数据的index为基准。)

    import pandas as pd
    
    df1 = pd.DataFrame({'id': ['001', '002', '003'],
                        'num1': [120, 101, 104],
                        'num2': [110, 102, 121],
                        'num3': [105, 120, 113]})
    df2 = pd.DataFrame({'id': ['001', '002', '003'],
                        'num4': [80, 86, 79]})
    print(df1)
    print("=======================================")
    print(df2)
    print("=======================================")
    
    df_merge = pd.merge(df1, df2, left_index=True, right_index=True)
    print(df_merge)

    python中DataFrame数据合并merge()和concat()方法怎么用

    相比方法①,区别在于,如图,方法②合并出的数据中有重复列。

    重要参数
    pd.merge(right,how=‘inner’, on=“None”, left_on=“None”, right_on=“None”, left_index=False, right_index=False )
    参数 描述
    left 左表,合并对象,DataFrame或Series
    right 右表,合并对象,DataFrame或Series
    how 合并方式,可以是left(左合并), right(右合并), outer(外合并), inner(内合并)
    on 基准列 的列名
    left_on 左表基准列列名
    right_on 右表基准列列名
    left_index 左列是否以index为基准,默认False,否
    right_index 右列是否以index为基准,默认False,否

    其中,left_index与right_index 不能与 on 同时指定。

    合并方式 left right outer inner

    准备数据‘

    新准备一组数据:

    import pandas as pd
    
    df1 = pd.DataFrame({'id': ['001', '002', '003'],
                        'num1': [120, 101, 104],
                        'num2': [110, 102, 121],
                        'num3': [105, 120, 113]})
    df2 = pd.DataFrame({'id': ['001', '004', '003'],
                        'num4': [80, 86, 79]})
    print(df1)
    print("=======================================")
    print(df2)
    print("=======================================")

    python中DataFrame数据合并merge()和concat()方法怎么用

    inner(默认)

    使用来自两个数据集的键的交集

    df_merge = pd.merge(df1, df2, on='id')
    print(df_merge)

    python中DataFrame数据合并merge()和concat()方法怎么用

    outer

    使用来自两个数据集的键的并集

    df_merge = pd.merge(df1, df2, on='id', how="outer")
    print(df_merge)

    python中DataFrame数据合并merge()和concat()方法怎么用

    left

    使用来自左数据集的键

    df_merge = pd.merge(df1, df2, on='id', how='left')
    print(df_merge)

    python中DataFrame数据合并merge()和concat()方法怎么用

    right

    使用来自右数据集的键

    df_merge = pd.merge(df1, df2, on='id', how='right')
    print(df_merge)

    python中DataFrame数据合并merge()和concat()方法怎么用

    2.多对一合并

    import pandas as pd
    
    df1 = pd.DataFrame({'id': ['001', '002', '003'],
                        'num1': [120, 101, 104],
                        'num2': [110, 102, 121],
                        'num3': [105, 120, 113]})
    df2 = pd.DataFrame({'id': ['001', '001', '003'],
                        'num4': [80, 86, 79]})
    print(df1)
    print("=======================================")
    print(df2)
    print("=======================================")

    python中DataFrame数据合并merge()和concat()方法怎么用

    如图,df2中有重复id1的数据。

    合并

    df_merge = pd.merge(df1, df2, on='id')
    print(df_merge)

    合并结果如图所示:

    python中DataFrame数据合并merge()和concat()方法怎么用

    使用 Claude Agent SDK 将绑定的 Claude 代码会话嵌入到 Python 自动化中
    使用 Claude Agent SDK 将绑定的 Claude 代码会话嵌入到 Python 自动化中

    当现有的脚本或服务需要将作用域化的仓库工作委托给 Claude Code 并以编程方式消费结构化响应时,请使用 Claude Agent SDK for Python。

    下载

    依然按照默认的Inner方式,使用来自两个数据集的键的交集。且重复的键的行会在合并结果中体现为多行。

    3.多对多合并

    如图表1和表2中都存在多行id重复的。

    import pandas as pd
    df1 = pd.DataFrame({'id': ['001', '002', '002', '002', '003'],
                        'num1': [120, 101, 104, 114, 123],
                        'num2': [110, 102, 121, 113, 126],
                        'num3': [105, 120, 113, 124124, 128]})
    df2 = pd.DataFrame({'id': ['001', '001', '002', '003', '001'],
                        'num4': [80, 86, 79, 88, 93]})
    print(df1)
    print("=======================================")
    print(df2)
    print("=======================================")

    python中DataFrame数据合并merge()和concat()方法怎么用

    df_merge = pd.merge(df1, df2, on='id')
    print(df_merge)

    python中DataFrame数据合并merge()和concat()方法怎么用

    concat()

    pd.concat(objs, axis=0, join=‘outer’, ignore_index:bool=False,keys=None,levels=None,names=None, verify_integrity:bool=False,sort:bool=False,copy:bool=True)

    参数 描述
    objs Series,DataFrame或Panel对象的序列或映射
    axis 默认为0,表示列。如果为1则表示行。
    join 默认为"outer",也可以为"inner"
    ignore_index 默认为False,表示保留索引(不忽略)。设为True则表示忽略索引。

    其他重要参数通过实例说明。

    1.相同字段的表首位相连

    首先准备三组DataFrame数据:

    import pandas as pd
    df1 = pd.DataFrame({'id': ['001', '002', '003'],
                        'num1': [120, 114, 123],
                        'num2': [110, 102, 121],
                        'num3': [113, 124124, 128]})
    df2 = pd.DataFrame({'id': ['004', '005'],
                        'num1': [120, 101],
                        'num2': [113, 126],
                        'num3': [105, 128]})
    df3 = pd.DataFrame({'id': ['007', '008', '009'],
                        'num1': [120, 101, 125],
                        'num2': [113, 126, 163],
                        'num3': [105, 128, 114]})
    
    
    print(df1)
    print("=======================================")
    print(df2)
    print("=======================================")
    print(df3)

    python中DataFrame数据合并merge()和concat()方法怎么用

    合并

    dfs = [df1, df2, df3]
    result = pd.concat(dfs)
    print(result)

    python中DataFrame数据合并merge()和concat()方法怎么用

    如果想要在合并后,标记一下数据都来自于哪张表或者数据的某类别,则也可以给concat加上 参数keys 。

    result = pd.concat(dfs, keys=['table1', 'table2', 'table3'])
    print(result)

    python中DataFrame数据合并merge()和concat()方法怎么用

    此时,添加的keys与原来的index组成元组,共同成为新的index。

    print(result.index)

    python中DataFrame数据合并merge()和concat()方法怎么用

    2.横向表合并(行对齐)

    准备两组DataFrame数据:

    import pandas as pd
    df1 = pd.DataFrame({'num1': [120, 114, 123],
                        'num2': [110, 102, 121],
                        'num3': [113, 124124, 128]}, index=['001', '002', '003'])
    df2 = pd.DataFrame({'num3': [117, 120, 101, 126],
                        'num5': [113, 125, 126, 133],
                        'num6': [105, 130, 128, 128]}, index=['002', '003', '004', '005'])
    
    print(df1)
    print("=======================================")
    print(df2)

    python中DataFrame数据合并merge()和concat()方法怎么用

    当axis为默认值0时:

    result = pd.concat([df1, df2])
    print(result)

    python中DataFrame数据合并merge()和concat()方法怎么用

    横向合并需要将axis设置为1 :

    result = pd.concat([df1, df2], axis=1)
    print(result)

    python中DataFrame数据合并merge()和concat()方法怎么用

    对比以上输出差异。

    • axis=0时,即默认纵向合并时,如果出现重复的行,则会同时体现在结果中

    • axis=1时,即横向合并时,如果出现重复的列,则会同时体现在结果中。

    3.交叉合并

    result = pd.concat([df1, df2], axis=1, join='inner')
    print(result)

    python中DataFrame数据合并merge()和concat()方法怎么用

    Python免费学习笔记(深入):立即使用
    在学习笔记中,你将探索 Python 的核心概念和高级技巧!

    相关文章

    python速学教程(入门到精通)
    python速学教程(入门到精通)

    python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

    下载

    相关标签:

    python

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

    相关专题

    更多
    sort排序函数用法
    sort排序函数用法

    sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

    2023.09.04

    1158

    7

    sort排序函数用法
    sort排序函数用法

    sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

    2023.09.04

    1158

    7

    Nginx CVE-2026-123007排查与防护指南
    Nginx CVE-2026-123007排查与防护指南

    Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

    2026.11.20

    0

    8

    GoFrame框架Web开发与路由中间件
    GoFrame框架Web开发与路由中间件

    本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

    2026.11.17

    20

    15

    GoFrame框架安装与gf命令行工具
    GoFrame框架安装与gf命令行工具

    本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

    2026.11.17

    60

    15

    GoFrame框架零基础入门
    GoFrame框架零基础入门

    本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

    2026.11.17

    80

    15

    SQLAlchemy 一对多关系怎么建立
    SQLAlchemy 一对多关系怎么建立

    SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

    2026.11.17

    20

    10

    SQLAlchemy 如何增删改查
    SQLAlchemy 如何增删改查

    SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

    2026.11.17

    80

    11

    SQLAlchemy ORM 模型怎么写
    SQLAlchemy ORM 模型怎么写

    SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

    2026.11.17

    40

    16

    热门下载

    更多
    网站特效
    /
    网站源码
    /
    网站素材
    /
    前端模板

    精品课程

    更多
    相关推荐
    /
    热门推荐
    /
    最新课程