窗口函数OOM或超时的根源是PARTITION BY字段选择不当:高基数但分布不均(如user_id)导致单Task处理数据量剧增;应选“高基数+均匀分布”字段,优先组合分区(如user_id+天粒度时间)、对倾斜key预处理、用确定性哈希加盐(如CONCAT(user_id,'_',ABS(HASH(user_id))%10)),并采用两阶段聚合降低计算压力。

为什么PARTITION BY字段选错会导致OOM或超时
窗口函数不走shuffle merge阶段,所有同PARTITION BY值的行必须落到同一个Task处理。如果选了高基数但分布极不均的字段(比如user_id),头部用户日志量可能是普通用户的10万倍,单个Executor内存直接飙到50GB,触发频繁GC甚至OOM。更糟的是,Spark不会自动拆分这个“大分区”,它就卡在那里——不是慢,是根本动不了。
如何选择安全且高效的分区键
关键不是“高基数”,而是“高基数 + 均匀分布”。实际中几乎不存在天然均匀的业务字段,所以得主动构造:
- 优先用组合分区:比如
PARTITION BY user_id, date_trunc('day', event_time),把时间维度加进来,把单个user的亿级行为打散到几百个天粒度分区里 - 避免单列
user_id或region——前者易出热点用户,后者常有“华东”占70%流量的现实 - 对已知倾斜key做预处理:比如
user_id IN (0, -1, 'unknown')这类兜底值,先单独过滤或重映射,别让它混进主窗口逻辑
加盐不是随便RAND(),必须确定性哈希
RAND()在JOIN前后调用结果不同,会导致左表和右表同一user_id被分到不同salt bucket,LAG()跨窗口失效——这不是bug,是你自己破坏了数据一致性。
正确做法是用确定性哈希生成盐值:
-
CONCAT(user_id, '_', ABS(HASH(user_id)) % 10),模10表示10个桶,足够打散头部用户 - 盐值必须在所有涉及该窗口的子查询、JOIN、CTE中统一使用,不能一处用
% 10,另一处用% 5 - 盐桶数量要权衡:太少(如2)打散不足;太多(如1000)会让小key也产生大量空分区,调度开销反升
缓存+两阶段聚合比硬扛窗口更可靠
当业务真需要“每个用户最新一笔订单的金额差”,别死磕LAG(amount) OVER (PARTITION BY user_id ORDER BY created_at)。JOIN放大后,一个user对应几百订单,窗口计算量爆炸。
换成收敛再计算的路径更稳:
- 第一阶段:用
ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY created_at DESC)取每用户TOP 1订单,生成轻量中间表 - 第二阶段:在这个最多N行(N=用户数)的结果集上开窗,
LAG()压力骤降两个数量级 - 顺手
cache()这个中间表——它会被后续多个窗口复用,省掉重复shuffle
真正容易被忽略的点:窗口函数不是银弹,它把“分布问题”原样继承下来。你没解决的数据倾斜,它也不会帮你解决,只会更快地暴露出来。










