SparkSQL不同版本如何处理子查询？

SparkSQL 对子查询的支持

在 Spark 中，目前支持的子查询形式有限。 Spark 2.0 及更高版本提供了对子查询的扩展支持，包括相关和不相关的变体。但是，在 Spark 2.0 之前的版本中，子查询只允许在 FROM 子句中使用，类似于 Hive 0.12 及更早版本。

WHERE 子句中的子查询错误

在 Spark shell 中运行提供的查询时遇到错误是由于 Spark 之前的版本不支持 WHERE 子句中的子查询2.0。该错误突出显示解析器需要括号，但遇到了 MAX 函数，这表明语法不正确。

Spark 2.0 中的支持

Spark 2.0 及更高版本，子查询可以在 FROM 和 WHERE 子句中使用。提供的查询可以重写如下：

sqlContext.sql("select sal from samplecsv where sal < (select max(sal) from samplecsv)").collect().foreach(println)

Spark 中的限制

Spark

Spark 中的限制2.02.0之前的Spark版本中，仅FROM子句支持子查询。不支持相关子查询，其中子查询引用外部查询中的列。要实现类似的功能，必须使用笛卡尔连接。

以上是SparkSQL不同版本如何处理子查询？的详细内容。更多信息请关注PHP中文网其他相关文章！