SparkSQL不同版本如何處理子查詢？

SparkSQL 對子查詢的支援

在 Spark 中，目前以有限的形式支援子查詢。 Spark 2.0 及更高版本提供了對子查詢的擴展支持，包括相關和不相關變體。但是，在 Spark 2.0 之前的版本中，子查詢只允許在 FROM 子句中使用，類似於 Hive 0.12 及更早版本。

WHERE 子句中的子查詢錯誤

在Spark shell 中執行提供的查詢時遇到錯誤是由於Spark 之前的版本不支援WHERE 子句中的子查詢2.0。此錯誤突出顯示解析器需要括號，但遇到了 MAX 函數，這表示語法不正確。

Spark 2.0 中的支援

在 Spark 2.0 及更高版本中，子查詢可以在 FROM 和 WHERE 子句中使用。提供的查詢可以重寫如下：

sqlContext.sql("select sal from samplecsv where sal < (select max(sal) from samplecsv)").collect().foreach(println)

Spark 中的限制2.0

2.0之前的Spark版本中，僅FROM子句支援子查詢。不支援相關子查詢，其中子查詢引用外部查詢中的列。要實現類似的功能，必須使用笛卡爾連接。

以上是SparkSQL不同版本如何處理子查詢？的詳細內容。更多資訊請關注PHP中文網其他相關文章！