如何在 Pandas 中基于行内动态子串高效更新 DataFrame 单元格

梦涛小哥_3211

梦涛小哥_3211

2026-11-19

225人浏览

原创

如何在 Pandas 中基于行内动态子串高效更新 DataFrame 单元格

本文介绍使用 df.apply() 配合 axis=1 和 result_type='expand',在不显式循环的前提下,基于每行的「动态子串」(如 Substring 列值)对目标列(如 String)进行大小写不敏感匹配,并批量生成多个布尔结果列。

本文介绍使用 `df.apply()` 配合 `axis=1` 和 `result_type='expand'`,在不显式循环的前提下,基于每行的「动态子串」(如 `substring` 列值)对目标列(如 `string`)进行大小写不敏感匹配,并批量生成多个布尔结果列。

在处理大规模结构化文本数据时,常需根据同一行中其他列的值动态构造搜索模式(例如拼接固定前缀 "Display " 与变量 Substring),再判断该模式是否存在于当前行的主文本字段中。若采用 for 循环逐行处理,面对数十万甚至百万级数据将显著拖慢性能;而直接使用 str.contains() 等向量化方法又无法支持「每行独立子串」这一动态需求。

此时,DataFrame.apply(func, axis=1) 是兼顾表达力与效率的理想方案:它将每行作为 pd.Series 对象传入自定义函数,允许我们自由组合字段、构建动态字符串,并返回结构化结果(如元组或列表)。配合 result_type='expand' 参数,可自动将返回的可迭代对象拆解为多列,实现一次性赋值。

以下是一个完整、可复现的示例:

import pandas as pd

# 构造示例数据
df = pd.DataFrame({
    'String': [
        'fooDisplay "screen 1" other text',
        'foobar Display "Screen 2" more text',
        'barDisplay "Screen 2"useless text',
        'Link="Screen 1"'
    ],
    'Substring': ['Screen 1', 'GFX', 'Screen 2', 'Screen 1']
})

# 定义行级匹配逻辑
def check_substrings(row):
    string_lower = row['String'].lower()      # 统一小写,实现不区分大小写匹配
    substr = row['Substring']

    # 动态构造两种待查模式(均转小写)
    pattern1 = f"Display \"{substr}\"".lower()
    pattern2 = f"Display "{substr}"".lower()

    # 直接返回布尔元组,无需 if/else
    return (pattern1 in string_lower, pattern2 in string_lower)

# 批量计算并展开至新列
df[['Result 1', 'Result 2']] = df.apply(check_substrings, axis=1, result_type='expand')

print(df)

✅ 关键要点说明:

  • axis=1 表示按行应用函数,row 是 Series,可通过键名(如 row['String'])安全访问任意列;
  • 使用 .lower() 统一转换为小写是最轻量、最可靠的大小写不敏感方案,优于正则 flags=re.I(避免编译开销);
  • 返回元组 (bool, bool) 后,result_type='expand' 会将其自动映射到 ['Result 1', 'Result 2'] 两列,语义清晰且无索引错位风险;
  • 若需扩展至 10+ 个结果列(如 Result 3 ~ Result 10),只需在 check_substrings 中追加对应模式判断,并保持返回元组长度与左侧列名数量一致即可。

⚠️ 注意事项:

  • 确保 String 列不含 NaN;若存在缺失值,需在函数内添加 if pd.isna(row['String']): return (False, False) 防御性处理;
  • 对于超大规模数据(>1M 行),可考虑用 numba.jit 加速纯 Python 字符串逻辑,或改用 swifter 库自动启用 Dask 并行加速(df.swifter.apply(...));
  • 避免在 apply 内部重复调用 row['String'].lower() 多次——应提前计算并复用,如本例所示。

通过该方法,你既能保持代码简洁可读,又能充分发挥 Pandas 的底层优化能力,在动态文本匹配场景下实现高性能、可维护的解决方案。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

360

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

292

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

1011

25

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

20

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习