高效统计 Polars 中多个子字符串在文本列中的出现行数-Python教程-PHP中文网

高效统计 Polars 中多个子字符串在文本列中的出现行数

本文介绍如何在 Polars 中高效统计上万个子字符串在百万级文本行中至少出现一次的行数，避免逐个 .str.contains() 循环，利用 str.extract_many() + explode + unique 实现内存可控、向量化加速的批量匹配方案。

本文介绍如何在 polars 中高效统计上万个子字符串在百万级文本行中至少出现一次的行数，避免逐个 `.str.contains()` 循环，利用 `str.extract_many()` + `explode` + `unique` 实现内存可控、向量化加速的批量匹配方案。

在处理大规模文本语料（如日志、文档、网页内容）时，常需快速评估一组关键词（如敏感词、实体、正则模式）在数据集中“覆盖了多少行”。若使用传统循环调用 pl.col('contents').str.contains(sub).sum()，对 10,000 个子字符串将触发 10,000 次全量扫描——不仅耗时（O(n×m) 时间复杂度），还会因重复读取列造成 CPU 和缓存压力。

Polars 提供了更优解：str.extract_many() —— 专为多模式批量提取设计的向量化方法。它能在单次遍历中，对每行文本并行匹配所有给定子字符串（支持重叠匹配），返回匹配到的子串列表。关键优势在于：

✅ 一次扫描完成全部匹配，时间复杂度降至 O(n + m·k)，其中 k 为平均每行匹配数；
✅ 零 Python UDF 开销，全程在 Rust 层执行；
✅ 内存友好：不构造中间布尔矩阵，避免 10,000 列宽的爆炸式 DataFrame。

以下为完整高效实现：

import polars as pl

# 示例数据（实际中 corpus 可达百万行）
corpus = pl.DataFrame({
    "contents": ["abcMMmcICm", "ckIJCwjVab", "JTQHufYcpo", "SNoqabcpMY", "SYbEsasrzt"]
})
substrings = ["ab", "abc", "c"]

# 步骤1：提取所有匹配（启用 overlapping=True 确保不遗漏重叠项，如 "ab" 和 "abc" 在 "abc" 中）
result = (
    corpus.select(
        pl.col("contents")
        .str.extract_many(substrings, overlapping=True)
        .alias("substring")
    )
    # 步骤2：添加行索引，便于后续去重（同一行多次匹配同一子串只计1次）
    .with_row_index()
    # 步骤3：展开列表 → 每行匹配项变为独立行
    .explode("substring")
    # 步骤4：按 (row_index, substring) 去重 → 同一行内同一子串仅保留1条
    .unique(subset=["index", "substring"])
    # 步骤5：按子串分组计数 → 即该子串出现在多少不同行中
    .group_by("substring")
    .len()
    # 步骤6：过滤掉 null（即未匹配任何子串的空列表项）
    .drop_nulls()
)

print(result)

输出：

shape: (3, 2)
┌───────────┬─────┐
│ substring ┆ len │
│ ---       ┆ --- │
│ str       ┆ u32 │
╞═══════════╪═════╡
│ c         ┆ 4   │
│ abc       ┆ 2   │
│ ab        ┆ 3   │
└───────────┴─────┘

⚠️ 重要注意事项：

str.extract_many() 默认区分大小写。如需忽略大小写，请先统一转换：pl.col("contents").str.to_lowercase().str.extract_many([...])；

若需包含未匹配到的子字符串（计数为 0），可在最后 join 回原始 substrings 列表：

all_substrings = pl.DataFrame({"substring": substrings})
result = all_substrings.join(result, on="substring", how="left").fill_null(0)

对超长子字符串列表（>50,000），建议预筛选：先用 pl.col("contents").str.lengths().max() 估算文本长度，排除明显长于最大文本的子串，减少无效匹配；
overlapping=True 是关键——若设为 False，则 "abc" 在 "abc" 中只会匹配 "ab" 或 "abc" 之一（取决于顺序），导致漏计。