高效统计 Polars 中大量子字符串在文本列中的出现行数-Python教程-PHP中文网

高效统计 Polars 中大量子字符串在文本列中的出现行数

本文介绍如何在 Polars 中高效统计上万个子字符串在百万级文本行中各自出现的行数（非总匹配次数），避免逐个 str.contains() 循环，利用 str.extract_many() + explode + unique + group_by 流水线实现内存友好、向量化加速的解决方案。

本文介绍如何在 polars 中高效统计上万个子字符串在百万级文本行中各自出现的**行数（非总匹配次数）**，避免逐个 `str.contains()` 循环，利用 `str.extract_many()` + `explode` + `unique` + `group_by` 流水线实现内存友好、向量化加速的解决方案。

当面对包含数百万行文本的 Polars DataFrame，并需批量统计数千甚至上万个子字符串（如关键词、模式或 token）至少出现一次的行数时，传统逐个调用 pl.col('contents').str.contains(sub).sum() 的方式会触发 10,000+ 次全表扫描，时间复杂度高、无法并行优化，且难以扩展。

更优解是采用 str.extract_many() —— Polars 专为多模式提取设计的向量化方法。它支持一次性对每行文本匹配全部子字符串（可选重叠匹配），返回每个文本对应的匹配子字符串列表，天然适配“按行去重后计数”的语义。

以下为完整高效流程（含关键细节说明）：

import polars as pl

# 示例数据
substrings = ["ab", "abc", "c"]
corpus = pl.DataFrame({
    "contents": ["abcMMmcICm", "ckIJCwjVab", "JTQHufYcpo", "SNoqabcpMY", "SYbEsasrzt"]
})

# ✅ 核心步骤：提取所有匹配（启用 overlapping=True 确保不漏短模式）
result = (
    corpus.select(
        pl.col("contents")
        .str.extract_many(substrings, overlapping=True)
        .alias("substring")
    )
    .with_row_index()  # 添加行索引，用于后续去重（同一行多次匹配只计1次）
    .explode("substring")  # 展开 list → 每行一个匹配项
    .unique(subset=["index", "substring"])  # 关键！按【行号+子串】去重，确保每行对每个子串最多计1次
    .drop_nulls("substring")  # 过滤空匹配（extract_many 对无匹配返回 null）
    .group_by("substring")
    .len()
    .rename({"len": "frequency"})
    .sort("substring")
)

print(result)

输出：

shape: (3, 2)
┌───────────┬───────────┐
│ substring ┆ frequency │
│ ---       ┆ ---       │
│ str       ┆ u32       │
╞═══════════╪═══════════╡
│ ab        ┆ 3         │
│ abc       ┆ 2         │
│ c         ┆ 4         │
└───────────┴───────────┘

? 关键要点说明：

overlapping=True 是必须的：否则 "abcMMmcICm" 中 "ab" 和 "abc" 无法同时被提取（默认非重叠匹配会跳过重叠部分）；
.with_row_index() + .unique(subset=["index", "substring"]) 保证按行去重，即 "abc" 在某一行出现多次也只计为 1 行命中；
.drop_nulls("substring") 清理未匹配行产生的 null，避免干扰分组；
最终 group_by("substring").len() 给出每个子串覆盖的独立行数，完全符合业务需求（如关键词覆盖率分析）；
整个链式操作全程惰性执行、零 Python UDF、纯 Rust 后端加速，内存占用远低于构建中间 join 表方案。