本文详解如何在 Polars LazyFrame 中安全执行跨文件类型统一（如 rain_rate 从 binary 转为 Float64），解决 SchemaError: data type mismatch 问题，避免 eager 加载内存压力，同时保持流式处理优势。
本文详解如何在 polars lazyframe 中安全执行跨文件类型统一（如 `rain_rate` 从 binary 转为 float64），解决 `schemaerror: data type mismatch` 问题，避免 eager 加载内存压力，同时保持流式处理优势。
在 Polars 中，scan_parquet() 创建的 LazyFrame 默认采用严格模式推断各文件的独立 schema。当多个 Parquet 文件中同一列（如 rain_rate）实际存储类型不一致（例如部分为 binary、部分为 f64），直接调用 pl.concat(dfs)（默认 how="vertical"）会因 schema 冲突而报错：SchemaError: data type mismatch for column rain_rate: expected: binary, found: f64。这与 eager 模式不同——pl.read_parquet() 会自动做类型协调（如将 binary 解码后尝试转 float），但 lazy 模式不会隐式兼容。
关键在于：必须先合并 schema，再统一 cast。推荐使用 how="vertical_relaxed" 模式拼接 LazyFrame，它允许列类型差异，并将结果列设为 null 或 object 类型（具体取决于上下文），从而为后续显式 .cast() 预留操作空间。
以下是完整、高效且内存友好的解决方案：
import polars as pl
import glob
# 1. 逐个扫描 Parquet 文件（不加载数据）
file_paths = glob.glob('../output/extraction/part_*.parquet')
lazy_frames = [pl.scan_parquet(path) for path in file_paths]
# 2. 使用 vertical_relaxed 合并（容忍类型差异）
merged_lazy = pl.concat(lazy_frames, how="vertical_relaxed")
# 3. 定义目标 schema 并统一 cast（strict=False 处理非法值为 null）
schema = {
'station_id': pl.String,
'datetime_utc': pl.Datetime(time_unit='ns', time_zone='UTC'),
'rain_rate': pl.Float64,
}
merged_lazy = merged_lazy.with_columns([
pl.col(name).cast(dtype, strict=False) for name, dtype in schema.items()
])
# 4. 触发执行并写入磁盘（全程 lazy，仅一次物化）
merged_lazy.sink_parquet('../output/extraction/merged.parquet')
✅ 优势说明：
-
vertical_relaxed是 lazy 场景下 schema 对齐的唯一可靠方式，避免 eagerread_parquet的全量内存加载； -
strict=False确保类型转换失败时返回null而非报错，提升鲁棒性； - 所有操作（扫描、合并、cast、sink）均在 lazy 图中定义，最终
sink_parquet才触发流式执行，内存占用恒定。
⚠️ 注意事项：
-
vertical_relaxed仅适用于列名和顺序一致的场景（即所有文件应具有相同逻辑结构）； - 若某些列完全缺失，需提前用
.fill_null()或.coalesce()处理； -
sink_parquet()不支持分区写入或压缩参数的动态配置，如需高级选项，请改用.collect().write_parquet(...)（此时已物化，慎用于超大数据集）。
总结：LazyFrame 的类型安全并非限制，而是要求更明确的 schema 协调步骤。通过 vertical_relaxed + cast(strict=False) 组合，你既能享受延迟计算的性能优势，又能稳健处理现实世界中常见的 Parquet 类型不一致问题。
