spark 不支持 sql 中的 not exists 子句，需通过 left_anti 连接替代：将主表与子查询结果（重命名后）按关联字段执行左反连接，即可精准筛选出“父 id 不在 object_id 列中”的记录。
spark 不支持 sql 中的 not exists 子句，需通过 left_anti 连接替代：将主表与子查询结果（重命名后）按关联字段执行左反连接，即可精准筛选出“父 id 不在 object_id 列中”的记录。
在 Spark DataFrame API 中，NOT EXISTS (SELECT 1 FROM ...) 这类相关子查询无法直接用 exists() 函数实现（如报错所示：exists() 要求第一个参数为数组类型，而 col("object_id") 是字符串类型），本质是因为 Spark 并未提供行级标量子查询语义的 exists 算子。
✅ 正确且高效的做法是使用 left_anti 连接 —— 它专为“查找主表中在右表无匹配项的记录”场景设计，语义上完全等价于 SQL 的 NOT EXISTS 或 LEFT JOIN ... WHERE right.key IS NULL。
以下为完整重构示例：
// 原始 SQL 等效逻辑：找出 parent_id 不在 load 表任何 object_id 中的记录
Dataset<row> load1 = ...; // 假设已加载
// 构建主查询数据集（对应 SELECT 子句）
Dataset<row> test = load1.select(
col("object_id"),
col("parent_id"),
col("object_id").as("root_id"),
col("attr_id"),
col("attr_name"),
col("value")
);
// 构建右表：仅取 load1 的 object_id，并重命名为 parent_id，用于关联
Dataset<row> antiLookup = load1.select(col("object_id").as("parent_id"));
// 执行 left_anti join：保留 test 中 parent_id 在 antiLookup 中完全不出现的所有行
Dataset<row> result = test.join(antiLookup, "parent_id", "left_anti");
result.show(false);</row></row></row></row>
? 关键说明：
- left_anti 是 Spark 3.0+ 原生支持的连接类型（旧版本可用 left_anti 的等效写法：left join + filter isNull，但性能较差）；
- 连接字段名必须一致（此处均命名为 "parent_id"），Spark 会自动按同名列匹配；
- 该方案具备良好可读性、可优化性（Catalyst 优化器能有效下推过滤条件），且避免了广播大表或笛卡尔积风险。
⚠️ 注意事项：
- 确保 parent_id 和 object_id 字段类型严格一致（如均为 StringType 或 LongType），否则连接可能静默失败或返回空结果；
- 若 parent_id 含 NULL 值，left_anti 默认会将其排除（因 NULL = NULL 不成立），这与标准 SQL 的 NOT EXISTS 行为一致，符合预期；
- 避免使用 collect() + 循环判断等低效方式——大数据量下会导致 Driver OOM 或严重性能退化。
综上，用 left_anti join 替代 NOT EXISTS 不仅语法简洁、语义清晰，更是 Spark 生态中的最佳实践。
