Polars 中如何根据列数据类型动态应用不同的类型转换与哈希操作-Python教程-PHP中文网

Polars 中如何根据列数据类型动态应用不同的类型转换与哈希操作

本文介绍在 Polars 的 with_columns 中，如何基于列的实际数据类型（如 list[str] 或 str）自动选择对应的 cast 策略，并正确执行哈希运算，避免因错误类型转换导致哈希值异常重复的问题。

本文介绍在 polars 的 `with_columns` 中，如何基于列的实际数据类型（如 `list[str]` 或 `str`）自动选择对应的 `cast` 策略，并正确执行哈希运算，避免因错误类型转换导致哈希值异常重复的问题。

在 Polars 中，with_columns 支持表达式式列操作，但不支持在单个表达式中直接嵌入运行时的 Python 条件判断（如 if isinstance(...)）——因为 Polars 表达式是惰性求值、编译优化的声明式逻辑，而非即时执行的 Python 代码。因此，无法像 pl.col("x").cast(pl.List(pl.Categorical) if is_list(x) else pl.Categorical) 这样写布尔分支。

但 Polars 提供了更优雅、更符合其设计哲学的替代方案：按数据类型选择列（type-based column selection） 和 表达式展开（expression expansion）。

✅ 正确做法：按类型分别定义表达式

Polars 允许使用 pl.col(dtype) 语法精准匹配特定物理类型的列。例如：

pl.col(pl.String) 匹配所有字符串列（str 类型）
pl.col(pl.List(pl.String)) 匹配所有 list[str] 列

结合 .cast() 与 .hash()，可为不同类型列定制独立处理逻辑：

import polars as pl

list_of_lists = [
    ['base', 'base.current base', 'base.current base.inventories - total', 'ABCD'],
    ['base', 'base.current base', 'base.current base.inventories - total', 'DEFG'],
    ['base', 'base.current base', 'base.current base.inventories - total', 'ABCD'],
    ['base', 'base.current base', 'base.current base.inventories - total', 'HIJK']
]

list_of_strings = ['(bobbyJoe460)', 'bobby, Joe (xx866e)', '137642039575', 'mamamia']

df = pl.DataFrame({'lists': list_of_lists, 'strings': list_of_strings})

# ✅ 推荐：按类型分别 cast + hash
result = df.with_columns(
    pl.col(pl.List(pl.String)).cast(pl.List(pl.Categorical)).hash(seed=140).name.suffix('_hashed'),
    pl.col(pl.String).cast(pl.Categorical).hash(seed=140).name.suffix('_hashed')
)

print(result)

输出中 strings_hashed 将呈现各不相同的哈希值（而非全部相同），表明字符串列已正确逐行哈希。

⚠️ 错误示例解析：为什么 `cast(pl.List(pl.Categorical))` 会破坏字符串列？

当你对 str 列错误地调用 .cast(pl.List(pl.Categorical)) 时，Polars 无法将标量字符串转为列表，于是静默填充 null（而非报错），导致所有行哈希 null → 结果一致：

# ❌ 危险！对 string 列 cast List(...) → 全部变为 null
df.select(pl.col("strings").cast(pl.List(pl.Categorical)))
# ┌───────────┐
# │ strings   │
# │ ---       │
# │ list[u32] │
# ╞═══════════╡
# │ [null]    │  ← 所有行均为 null
# │ [null]    │
# │ [null]    │
# │ [null]    │
# └───────────┘

这就是原始问题中 stris_hashed 全部相同的根本原因。

? 进阶技巧：动态生成表达式（适用于多列场景）

若列类型组合复杂（如含 int, list[int], datetime 等），可构建映射字典并用生成器表达式批量构造：

cast_map = {
    pl.String: pl.Categorical,
    pl.List(pl.String): pl.List(pl.Categorical),
    # pl.Int64: pl.UInt64,  # 可扩展
}

expressions = [
    pl.col(dtype).cast(target).hash(seed=140).name.suffix("_hashed")
    for dtype, target in cast_map.items()
]

result = df.with_columns(expressions)

该方式清晰、可维护，且完全兼容 Polars 的惰性执行引擎。