Spark SQL 版本之間的子查詢支援有何不同？

Spark SQL 中的子查詢支援

Spark SQL 提供全面的子查詢支援。以下是對 Spark SQL 中子查詢的探索。

Spark 2.0 及更高版本

Spark SQL 2.0 及更高版本擁有強大的子查詢功能，包括：

• 相關子查詢：允許子查詢外部查詢中的參考列。
• 不相關子查詢：獨立於外部查詢而存在。

子查詢用法範例

• 從存在的l 中選擇*（從r 中選擇*，其中l.a = r.c)
• select * from l where a in (select c from r)

注意： DataFrame DSL 目前不足以表達 Spark 版本中的子查詢邏輯2.0 之前。

Spark 版本之前2.0

在2.0 以下的Spark 版本中，子查詢僅限於FROM 子句：

• SELECT col FROM (SELECT * FROM t1 WHERE bar) t2

子查詢限制

2.0 之前的 Spark 版本不支援 WHERE 子句中的子查詢。這是因為任意子查詢，特別是相關子查詢，無法使用 Spark 的笛卡爾連接功能有效地表達。儘管如此，FROM 子句中的子查詢提供了一個有效的替代方案。

以上是Spark SQL 版本之間的子查詢支援有何不同？的詳細內容。更多資訊請關注PHP中文網其他相關文章！