本文介绍如何在 Polars 中灵活、高效地基于多个字符串前缀条件创建新列，避免手动重复编写 str.starts_with() 表达式，适用于 10 万至 400 万行的大规模数据集。
本文介绍如何在 polars 中灵活、高效地基于多个字符串前缀条件创建新列，避免手动重复编写 `str.starts_with()` 表达式，适用于 10 万至 400 万行的大规模数据集。
在处理大规模结构化文本数据时，常需判断某行是否在指定多列中任意一列以任意一个给定前缀开头（如 '302E513'、'306E510' 等），并据此生成布尔或数值型标记列。若使用硬编码方式逐个传入 pl.col(...).str.starts_with(cond)，不仅冗长易错，更难以维护——尤其当条件数从 2 个扩展到 10+ 个时。
幸运的是，Polars 提供两种优雅、高性能且完全向量化（zero Python-loop overhead）的解决方案，均支持动态长度的 conditions 列表：
✅ 方案一：正则表达式 + str.contains()（推荐）
利用 ^ 锚定开头 + | 构建 OR 分支，一次性完成所有前缀匹配：
import polars as pl
df = pl.DataFrame({
'Codes_1': ['302E513', '301E513', '302E512'],
'Codes_2': ['303E513', '306E510', '302E512']
}).lazy()
conditions = ['302E513', '306E510', '5164E23', '302E514']
column_names = ['Codes_1', 'Codes_2']
# ✅ 动态构建正则：^(cond1|cond2|cond3|...)
pattern = f"^({'|'.join(pl.escape(c) for c in conditions)}" # 自动转义特殊字符
df_result = df.with_columns(
pl.when(pl.any_horizontal(
pl.col(column_names).str.contains(pattern, literal=False)
))
.then(1.0)
.otherwise(0.0)
.alias('Column_name')
).collect()
print(df_result)
⚠️ 注意：
pl.escape()是 Polars 0.20.19+ 新增的安全转义函数，防止conditions中含.、*、(等正则元字符引发意外匹配。若版本较低，可手动用re.escape()（需import re）。
✅ 方案二：生成器表达式 + any_horizontal()（语义更直白）
直接展开 conditions 列表为表达式序列，由 Polars 内部优化执行：
df_result = df.with_columns(
pl.when(pl.any_horizontal(
pl.col(column_names).str.starts_with(c) for c in conditions
))
.then(1.0)
.otherwise(0.0)
.alias('Column_name')
).collect()
该写法逻辑清晰、无需正则知识，且性能与方案一相当（Polars 会将生成器编译为高效原生运算）。
? 输出验证
两种方案均输出一致结果：
shape: (3, 3) ┌─────────┬─────────┬─────────────┐ │ Codes_1 ┆ Codes_2 ┆ Column_name │ │ --- ┆ --- ┆ --- │ │ str ┆ str ┆ f64 │ ╞═════════╪═════════╪═════════════╡ │ 302E513 ┆ 303E513 ┆ 1.0 │ │ 301E513 ┆ 306E510 ┆ 1.0 │ │ 302E512 ┆ 302E512 ┆ 0.0 │ └─────────┴─────────┴─────────────┘
第一行因 Codes_1 以 '302E513' 开头命中；第二行因 Codes_2 以 '306E510' 开头命中；第三行无任何列匹配任一前缀，故为 0.0。
? 关键总结
-
绝不使用 Python 循环：
for+mask |= ...是 Pandas 模式，在 Polars 中会严重拖慢性能并失去惰性计算优势； -
优先选方案一（正则）：语法简洁、易于调试（可打印
pattern查看）、天然支持复杂模式（如通配符、分组）； - 方案二更易理解：适合团队协作或需严格字面匹配（非正则）场景；
-
始终用
.lazy()+.collect()：对百万级数据启用惰性执行，避免中间内存膨胀； -
列名与条件列表可完全参数化：只需修改
column_names和conditions变量，代码零改动即可适配任意规模匹配任务。
通过以上方法，你可在 Polars 中实现真正可扩展、高性能、易维护的多条件字符串匹配逻辑——让大数据文本分析既快又稳。
