grouping sets 在 spark sql 中本质是显式枚举分组组合并执行多次独立扫描，不自动物化中间结果；需用 grouping() 区分占位符 null 与真实 null；维度多或逻辑不同时应改用多查询或 rollup。
GROUPING SETS 在 Spark SQL 中不是“自动优化器”，它本质是显式枚举分组组合 + UNION ALL 语义。能否高效，取决于你是否控制了扫描、判空和执行粒度。
GROUPING SETS 会重复扫描表吗？
会，而且默认不复用中间结果。Spark SQL 的 GROUPING SETS 在物理计划中通常展开为多个 HashAggregate 节点，每个对应一个分组集，各自独立读取原始数据（或上游 shuffle 后的分区）。这意味着：
- 写
GROUPING SETS ((a), (b), (a,b))≈ 执行三次独立的GROUP BY，再合并 - 若底层表是大分区 Parquet 表，且没走谓词下推，可能反复扫描同一文件多次
-
EXPLAIN FORMATTED中看到多个Aggregate或HashAggregate节点，就是重复扫描信号
缓解方式：提前过滤 + 强制广播小维表 + 使用 cache()（仅当复用频繁且内存充足时）。
如何区分 NULL 是占位符还是真实数据？
必须用 GROUPING()，不能靠 IS NULL 判断。比如你查 GROUPING SETS ((city), (city, car_model))，car_model 在只按 city 分组的行里是 NULL，但它不是原始数据里的 NULL。
-
GROUPING(city)返回1→ 该行未按city分组（即“总计”行） -
GROUPING(car_model)返回1→ 该行未按car_model分组（即“城市小计”行） - 组合判断：
GROUPING(city) = 0 AND GROUPING(car_model) = 1表示这是按城市聚合、但未细分车型的行 - 别写
COALESCE(city, 'All')直接替换——它会把真实为NULL的城市也变成'All'
正确写法：CASE WHEN GROUPING(city) = 1 THEN 'All Cities' ELSE city END AS city_label
什么时候该放弃 GROUPING SETS，改用其他方式？
维度多、组合爆炸时立刻停手。Spark SQL 不做组合剪枝，也不智能跳过无效分组。
- 5 个字段全排列（
CUBE(a,b,c,d,e)）→ 2⁵ = 32 个分组集 → 扫描 32 次，大概率 OOM 或超时 - 业务只要“部门+年份”“部门+季度”“年份+季度”，却写了
GROUPING SETS ((dept,year),(dept,quarter),(year,quarter))—— 看似合理，但 Spark 仍会为每组单独 shuffle，不如拆成 3 个带WHERE的查询 + 应用层合并 - 需要对每个分组集应用不同聚合逻辑（如有的要
COUNT DISTINCT，有的要AVG），GROUPING SETS强制统一 SELECT 表达式，此时必须拆
替代方案优先级：少量明确组合 → GROUPING SETS；中等组合（≤8）→ ROLLUP（线性降维，可控）；复杂/动态组合 → 多次查询 + DataFrame union 或应用层拼接。
Spark 3.x 中 groupingSets() API 的坑
PySpark 的 DataFrame.groupingSets() 方法和 SQL 的 GROUPING SETS 语义一致，但参数传法容易错：
- 第一个参数必须是
Sequence[Sequence[ColumnOrName]]，即嵌套列表，不能传扁平元组：[(“city”), (“city”, “car_model”)]✅，[“city”, (“city”, “car_model”)]❌（后者第二项不是 Sequence） - 额外的
cols参数（如.groupingSets(..., "city", "car_model")）会被当作“始终保留的分组列”，但它们不出现在groupingSets列表中 —— 这容易导致语义混淆，建议只在 SQL 中用，API 层避免混用 - 返回的是
GroupedData，后续必须跟.agg()，不能直接.count()；且.agg()里所有聚合函数必须显式 alias，否则列名冲突
最稳写法：用 SQL 字符串调用 spark.sql()，而非链式 API —— 语义清晰、调试方便、报错位置明确。
GROUPING SETS 能自动物化中间结果。它不缓存、不剪枝、不推断依赖，只忠实执行你列出的每一组。要不要用，先看 EXPLAIN 里扫了几遍。
