本文介绍两种高效、可扩展的方法，使用 Polars 为任意数量的前缀条件（如 ['302E513', '306E510', ...']）批量检测多列字符串是否以任一条件开头，并生成布尔标记列，避免硬编码重复表达式，兼顾性能与可维护性。
本文介绍两种高效、可扩展的方法，使用 polars 为任意数量的前缀条件（如 ['302e513', '306e510', ...']）批量检测多列字符串是否以任一条件开头，并生成布尔标记列，避免硬编码重复表达式，兼顾性能与可维护性。
在处理大规模结构化文本数据（如医疗编码、日志标识、产品 SKU 前缀）时，常需判断某行是否在任意指定列中包含任一目标前缀。Polars 的 str.starts_with() 是高效字符串匹配原语，但直接展开多个条件（如 conditions[0], conditions[1], …）会导致代码冗长、难以维护，且无法适配动态变化的条件列表。
幸运的是，Polars 表达式支持 Python 原生语法（如生成器表达式）和正则引擎，可轻松实现「条件数量无关」的优雅写法。以下是两种生产推荐方案：
✅ 方案一：生成器表达式（推荐 —— 语义清晰、无需正则）
利用 Python 的 for 循环在表达式内动态生成多个 starts_with 子表达式，并传入 pl.any_horizontal()：
import polars as pl
df = pl.DataFrame({
'Codes_1': ['302E513', '301E513', '302E512'],
'Codes_2': ['303E513', '306E510', '302E512']
}).lazy()
conditions = ['302E513', '306E510', '5164E23', '302E514']
column_names = ['Codes_1', 'Codes_2']
df = df.with_columns(
pl.when(
pl.any_horizontal(
pl.col(column_names).str.starts_with(c) for c in conditions
)
)
.then(1.0)
.otherwise(0.0)
.alias('Column_name')
).collect() # .collect() 仅用于演示；实际大数据建议保持 lazy
✅ 优势：
- 完全复用
starts_with语义，无正则学习成本； - 类型安全，Polars 编译期验证所有条件为字符串；
- 内存友好，不构造中间字符串；
- 条件列表长度任意，零修改适配
len(conditions) == 1或== 1000。
✅ 方案二：正则预编译（推荐 —— 极致性能，适合超多条件）
当 conditions 数量极大（如数百个以上）或需频繁复用时，将前缀转为锚定正则 ^(...|...)，一次调用 str.contains()：
# 构建正则模式：^开头 + 竖线分隔 + 字面量转义（若含特殊字符需额外处理）
pattern = f"^({'|'.join(pl.Series(conditions).str.replace_all(r'([.^$|\?*+()[{])', r'\').to_list())})"
df = df.with_columns(
pl.when(
pl.any_horizontal(
pl.col(column_names).str.contains(pattern, literal=False)
)
)
.then(1.0)
.otherwise(0.0)
.alias('Column_name')
)
⚠️ 注意事项：
- 若
conditions中可能含正则元字符（如.,*,$,(等），必须先转义（示例中已用str.replace_all处理）； -
literal=False（默认）启用正则；若所有条件均为纯文本且无元字符，可设literal=True提升安全性； - 正则方案在条件极多时比生成器略快，但调试难度稍高，建议搭配
print(pattern)验证。
? 最终输出验证
无论采用哪种方案，对上述示例数据均输出：
┌─────────┬─────────┬─────────────┐ │ Codes_1 ┆ Codes_2 ┆ Column_name │ │ --- ┆ --- ┆ --- │ │ str ┆ str ┆ f64 │ ╞═════════╪═════════╪═════════════╡ │ 302E513 ┆ 303E513 ┆ 1.0 │ │ 301E513 ┆ 306E510 ┆ 1.0 │ │ 302E512 ┆ 302E512 ┆ 0.0 │ └─────────┴─────────┴─────────────┘
——正确识别第 0 行（Codes_1 含 '302E513'）和第 1 行（Codes_2 含 '306E510'），其余为 0.0。
? 总结：放弃手动展开
conditions[i]，拥抱 Polars 表达式的 Python 原生能力。生成器表达式是默认首选——简洁、安全、易读；正则方案作为性能优化备选。二者均完美解决“条件数量动态变化”这一高频痛点，让 Polars 在千万级文本匹配任务中真正兼顾开发效率与执行速度。
