
本文介绍使用 Polars 的 join_where 实现高效客户共购关系挖掘,避免暴力枚举所有客户对,直接通过商品(StockCode)关联筛选出至少共享一个商品的客户 ID 对,并输出结构化结果。
本文介绍使用 polars 的 `join_where` 实现高效客户共购关系挖掘,避免暴力枚举所有客户对,直接通过商品(stockcode)关联筛选出至少共享一个商品的客户 id 对,并输出结构化结果。
在推荐系统、协同过滤或用户行为分析中,常需识别“购买过相同商品”的用户对(如客户 A 和客户 B 都买过 StockCode = "140")。若采用 itertools.combinations 枚举全部客户对再逐对校验,时间复杂度为 O(N² × M),在客户量大时完全不可行。
Polars 提供了更优雅且高性能的解法:基于商品列的自连接(self-join),配合条件过滤与去重,可将问题转化为一次流式连接操作。
核心思路是:将原始 DataFrame 与自身按 StockCode 对齐,同时约束 CustomerID 以确保每对仅出现一次(避免 (A,B) 和 (B,A) 重复),并天然跳过自匹配(如 A-A)。
以下是完整可运行代码:
import polars as pl
df = pl.from_repr("""
┌─────────────┬────────────┬───────┐
│ CustomerID ┆ StockCode ┆ Total │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═════════════╪════════════╪═══════╡
│ A ┆ 123 ┆ 45.78 │
│ A ┆ 140 ┆ 10.26 │
│ B ┆ 125 ┆ 99.62 │
│ B ┆ 128 ┆ 23.65 │
│ B ┆ 140 ┆ 92.95 │
│ C ┆ 123 ┆ 45.78 │
│ D ┆ 145 ┆ 7.58 │
└─────────────┴────────────┴───────┘
""")
# 执行带条件的懒加载自连接
result = (
df.lazy()
.join_where(
df.lazy(),
pl.col("StockCode") == pl.col("StockCode_right"),
pl.col("CustomerID") <p>输出为:</p><pre class="brush:php;toolbar:false;">shape: (2, 2)
┌────────────┬──────────────────┐
│ CustomerID ┆ CustomerID_right │
│ --- ┆ --- │
│ str ┆ str │
╞════════════╪══════════════════╡
│ A ┆ B │
│ A ┆ C │
└────────────┴──────────────────┘
✅ 关键优势说明:
-
无需显式去重或排序:
join_where内置逻辑自动处理;CustomerID 确保组合唯一且有序; -
流式执行(
engine="streaming"):适用于超大数据集,内存友好; -
延迟计算(
.lazy()):Polars 自动优化执行计划,避免中间物化; -
列名自动后缀:右侧表字段默认加
_right后缀(如StockCode_right),便于清晰引用。
⚠️ 注意事项:
- 若原始数据中存在缺失值(
null)的StockCode或CustomerID,建议提前用.drop_nulls(["StockCode", "CustomerID"])过滤,否则可能引发意外匹配或空结果; - 如后续需计算相似度(如 Jaccard、余弦),可基于此结果 + 原始购买记录构建稀疏用户-商品矩阵,再批量计算;
- 对于千万级客户规模,建议结合
pl.Config.set_streaming_chunk_size()调优流式粒度。
该方法将算法复杂度从 O(N²M) 降至近似 O(E log E),其中 E 是购买记录总数,是 Polars 在真实业务场景中处理共现分析的推荐范式。










