本文介绍如何使用 Spark SQL 的 explode 和 select("struct.*") 正确展开含 struct 元素的嵌套数组，并通过 pivot 动态生成以字段值为列名的宽表，避免类型不匹配错误。
本文介绍如何使用 spark sql 的 `explode` 和 `select("struct.*")` 正确展开含 `struct` 元素的嵌套数组，并通过 `pivot` 动态生成以字段值为列名的宽表，避免类型不匹配错误。
在 Apache Spark（Java API）中处理嵌套结构数据时，常见误区是误将 array
以下是完整、可运行的解决方案：
import static org.apache.spark.sql.functions.*;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
// 假设 File 是原始 Dataset<row>
Dataset<row> result = File
// 1. 展开 response.indicator 数组 → 每行对应一个 indicator struct
.withColumn("indicator", explode(col("response.indicator")))
// 2. 解构 struct：将 _VALUE 和 _number 字段提升为顶层列（注意字段名大小写！schema 中为 `_VALUE` 和 `_number`）
.select("ID", "indicator._VALUE", "indicator._number")
// 3. 按 ID 分组，以 _number 值为新列名，聚合 _VALUE（取首个非空值）
.groupBy("ID")
.pivot("_number") // 自动识别所有唯一 _number 值（如 1, 2, 3, ... 26）
.agg(first("_VALUE")); // 使用 first() 处理同一 ID 下多个相同 _number 的情况（本例中无重复，但健壮性必需）
result.show();</row></row>
✅ 关键要点说明：
- explode(col("response.indicator")) 将 array
> 展开为多行，每行含一个 struct； - select("ID", "indicator._VALUE", "indicator._number") 或更简洁的 select("ID", "indicator.*")（推荐）直接提取 struct 内部字段，不可对 struct 使用 split()；
- pivot("_number") 要求 _number 列为数值或字符串类型（Spark 会自动转为字符串列名），它将每个唯一 _number 值（如 1, 2, 7）转为独立列；
- agg(first("_VALUE")) 是 pivot 必需的聚合函数；若某 ID 在特定 _number 下无记录，则结果自动为 null（符合预期）。
⚠️ 注意事项：
- 字段名严格区分大小写：schema 明确为 _VALUE（全大写）和 _number（小写 n），代码中必须一致，否则 col("indicator._value") 将返回 null；
- pivot 默认最多支持 10,000 个不同值（可通过 spark.sql.pivotMaxValues 配置调整），本例中 _number 最大为 26，完全安全；
- 若原始数据中存在重复 _number（同一 ID 对应多个 [Y,1] 和 [N,1]），first() 仅取第一个，如需其他策略（如 max、collect_list），请按需替换聚合函数；
- 为提升可读性，建议在 explode 后立即 select 明确字段，避免后续引用歧义。
该方案高效、语义清晰，适用于任意规模的嵌套 indicator 结构，是 Spark 处理“键值对数组转宽表”场景的标准范式。
Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
