必须显式指定 PARTITION BY,否则 Spark 会将全部数据 shuffle 到单个 task 排序,触发 Exchange SinglePartition 导致 OOM 或超时;正确写法为 Window.partitionBy("user_id").orderBy(col("ts").desc())。

必须显式指定 PARTITION BY,否则直接 OOM
不写 PARTITION BY 就等于告诉 Spark:把全部数据 shuffle 到一个 task 里排序。执行计划里一旦出现 Exchange SinglePartition,就是危险信号——10 亿行数据全压在一个 executor 上,OOM 或超时是必然结果。哪怕你只想要最新一条记录,也得先按业务键(如 user_id)分组,row_number() 才有意义。错误写法:Window.orderBy(col("ts").desc());正确写法:Window.partitionBy("user_id").orderBy(col("ts").desc())。
高基数分区键倾斜时,加盐不是可选,是刚需
当 user_id 这类字段存在头部用户(单 key 出现 500 万次),对应 task 会卡死,其他几百个 task 空转。Spark 不会自动拆分热点分区。加盐是最直接有效的缓解手段:
-
concat(col("user_id"), lit("_"), (rand() * 10).cast("int"))把大分区打散成最多 10 个子组 - 盐值数量建议 10–100:太少起不到打散效果,太多会让小 key 的 group by 开销反超
- 加盐后必须两阶段处理:第一阶段按盐值分组聚合基础指标,第二阶段再按原始 key 做窗口取 top1
慎用 COLLECT_SET + SIZE 做窗口内去重计数
COUNT(DISTINCT x) OVER (PARTITION BY y) 在 Spark SQL 中基本不可用——要么报错,要么触发全量广播,极易 OOM。替代方案有明确边界:
- 能接受误差就用
APPROX_COUNT_DISTINCT(x, 0.01),性能高 5–10 倍,误差率可控 - 必须精确且 x 是枚举值(如状态码、渠道 ID),才考虑
COLLECT_SET(x) OVER (PARTITION BY y),但需确保集合大小有界 - 绝对避免在长尾分布的
PARTITION BY字段上用COLLECT_SET,一个分区收集几百万元素会直接拖垮 executor
dropDuplicates 不解决顺序需求,别和窗口函数混用
dropDuplicates(Seq("a", "b")) 适合清洗完全重复行,但它保留的是“第一个遇到的行”,不保证时间/版本顺序。如果你要“每个 user_id 的最新记录”,它完全无效。此时必须换窗口函数 + row_number() + where rn = 1。另外,对超大表,先 repartition("user_id") 再 dropDuplicates,可避免 shuffle 阶段二次重分布。
实际中,最常被忽略的是:加盐之后的第二阶段聚合必须显式用原始 key 做 final 分组,否则盐值残留会导致逻辑错误。这个细节在测试小数据时看不出来,上线后才发现去重失效或指标翻倍。











