
本文介绍使用 df.apply() 配合 axis=1 和 result_type='expand',在不显式循环的前提下,基于每行的「动态子串」(如 Substring 列值)对目标列(如 String)进行大小写不敏感匹配,并批量生成多个布尔结果列。
本文介绍使用 `df.apply()` 配合 `axis=1` 和 `result_type='expand'`,在不显式循环的前提下,基于每行的「动态子串」(如 `substring` 列值)对目标列(如 `string`)进行大小写不敏感匹配,并批量生成多个布尔结果列。
在处理大规模结构化文本数据时,常需根据同一行中其他列的值动态构造搜索模式(例如拼接固定前缀 "Display " 与变量 Substring),再判断该模式是否存在于当前行的主文本字段中。若采用 for 循环逐行处理,面对数十万甚至百万级数据将显著拖慢性能;而直接使用 str.contains() 等向量化方法又无法支持「每行独立子串」这一动态需求。
此时,DataFrame.apply(func, axis=1) 是兼顾表达力与效率的理想方案:它将每行作为 pd.Series 对象传入自定义函数,允许我们自由组合字段、构建动态字符串,并返回结构化结果(如元组或列表)。配合 result_type='expand' 参数,可自动将返回的可迭代对象拆解为多列,实现一次性赋值。
以下是一个完整、可复现的示例:
import pandas as pd
# 构造示例数据
df = pd.DataFrame({
'String': [
'fooDisplay "screen 1" other text',
'foobar Display "Screen 2" more text',
'barDisplay "Screen 2"useless text',
'Link="Screen 1"'
],
'Substring': ['Screen 1', 'GFX', 'Screen 2', 'Screen 1']
})
# 定义行级匹配逻辑
def check_substrings(row):
string_lower = row['String'].lower() # 统一小写,实现不区分大小写匹配
substr = row['Substring']
# 动态构造两种待查模式(均转小写)
pattern1 = f"Display \"{substr}\"".lower()
pattern2 = f"Display "{substr}"".lower()
# 直接返回布尔元组,无需 if/else
return (pattern1 in string_lower, pattern2 in string_lower)
# 批量计算并展开至新列
df[['Result 1', 'Result 2']] = df.apply(check_substrings, axis=1, result_type='expand')
print(df)
✅ 关键要点说明:
-
axis=1表示按行应用函数,row是Series,可通过键名(如row['String'])安全访问任意列; - 使用
.lower()统一转换为小写是最轻量、最可靠的大小写不敏感方案,优于正则flags=re.I(避免编译开销); - 返回元组
(bool, bool)后,result_type='expand'会将其自动映射到['Result 1', 'Result 2']两列,语义清晰且无索引错位风险; - 若需扩展至 10+ 个结果列(如
Result 3~Result 10),只需在check_substrings中追加对应模式判断,并保持返回元组长度与左侧列名数量一致即可。
⚠️ 注意事项:
- 确保
String列不含NaN;若存在缺失值,需在函数内添加if pd.isna(row['String']): return (False, False)防御性处理; - 对于超大规模数据(>1M 行),可考虑用
numba.jit加速纯 Python 字符串逻辑,或改用swifter库自动启用 Dask 并行加速(df.swifter.apply(...)); - 避免在
apply内部重复调用row['String'].lower()多次——应提前计算并复用,如本例所示。
通过该方法,你既能保持代码简洁可读,又能充分发挥 Pandas 的底层优化能力,在动态文本匹配场景下实现高性能、可维护的解决方案。










