group by + order by 会多一次 shuffle，因为二者语义独立：group by 触发首次 shuffle 实现分组聚合，order by 要求全局有序，必须再执行一次 exchange shuffle 来集中排序，即使排序字段与分组键相同，spark 也不复用前序排序结果。
因为 ORDER BY 在 Spark SQL 中强制全局排序，而聚合（如 GROUP BY）本身已触发一次 Shuffle，两者叠加会再引入一次独立的、不可合并的 Shuffle 阶段。
Spark SQL 中 GROUP BY + ORDER BY 为什么会多一次 Shuffle
Spark SQL 的执行计划里，GROUP BY 和 ORDER BY 是两个语义独立的操作，各自对应不同的物理算子：
-
GROUP BY触发HashAggregate或SortAggregate，必须先做 Shuffle（即Exchange）把相同 key 拉到同一 partition 才能聚合； -
ORDER BY要求最终结果全局有序，必须再走一次GlobalLimit或Sort算子，而该算子上游若不是单 partition，就必须插入Exchange（即第二次 Shuffle）来集中数据排序。
即使你写的是 SELECT key, SUM(val) FROM t GROUP BY key ORDER BY key，key 已经是分组键，Spark 也不会复用第一次 Shuffle 的排序结果 —— 因为第一次 Shuffle 后各 partition 内部虽可能有序（取决于是否启用 SortAggregate），但跨 partition 不保证全局有序，ORDER BY 必须补全这一步。
repartitionAndSortWithinPartitions 为什么不能替代 ORDER BY
这个函数只作用于 RDD 层，且仅保证「每个 partition 内部有序」，不改变 partition 数量，也不提供全局顺序保证。Spark SQL 的 ORDER BY 是逻辑计划强制要求的语义，SQL 引擎不会把它下推成 repartitionAndSortWithinPartitions，原因包括：
- SQL 层无法静态确认
ORDER BY字段是否与GROUP BY字段完全一致（比如有别名、表达式、NULL 处理差异）； - 即使字段相同，
repartitionAndSortWithinPartitions仍需指定分区器，而 SQL 不暴露该控制权； - 该函数不生成新的
Exchange节点，无法满足 Catalyst 对GlobalOrder物理算子的依赖要求。
如何避免多一次 Shuffle
如果业务只要求“按分组键排序”，且能接受最终输出是多个有序 partition（而非严格全局有序），可绕过 SQL 层直接操作 DataFrame：
- 先用
groupBy("key").agg(sum("val"))得到聚合结果； - 再调用
sort("key")—— 注意：这是 DataFrame 的sort方法，它等价于orderBy，仍会触发 Shuffle； - 真正有效的是：
repartition(col("key")).sortWithinPartitions("key")，它把数据按 key 重分区（一次 Shuffle），再在每个 partition 内排序（无 Shuffle）； - 但要注意：
repartition(col("key"))使用的是 hash 分区，key 相同一定进同一 partition，但不同 key 可能进同一 partition（碰撞），所以sortWithinPartitions后仍是局部有序，非全局有序。
真正想省掉第二次 Shuffle，唯一可靠方式是放弃 SQL 的 ORDER BY，改用 repartitionAndSortWithinPartitions（RDD API）或确保下游消费者能处理分片有序数据。SQL 的语义契约决定了它必须为 ORDER BY 提供可验证的全局顺序，这个承诺代价就是一次绕不开的 Shuffle。
