Spark SQL 버전에 따라 하위 쿼리 지원이 어떻게 다릅니까?

Spark SQL의 하위 쿼리 지원

Spark SQL은 포괄적인 하위 쿼리 지원을 제공합니다. 다음은 Spark SQL의 하위 쿼리를 살펴보겠습니다.

Spark 2.0 이상

Spark SQL 버전 2.0 이상에서는 다음을 포함한 강력한 하위 쿼리 기능을 자랑합니다.

• 상관 하위 쿼리: 허용 외부 쿼리의 열을 참조하는 하위 쿼리.
• 비상관 하위 쿼리: 외부 쿼리와 독립적으로 존재합니다.

하위 쿼리 사용 예

• select * from l where 존재(select * from r where l.a = r.c)
• select * from l where a in (select c from r)

참고: DataFrame DSL은 현재 Spark에서 하위 쿼리 논리를 표현하기에 충분하지 않습니다. 2.0 이전 버전.

Spark 이전 버전 2.0

2.0 이하 Spark 버전에서는 하위 쿼리가 FROM 절로 제한됩니다:

• SELECT col FROM (SELECT * FROM t1 WHERE bar) t2

하위 쿼리 제한 사항

WHERE 절의 하위 쿼리는 Spark 2.0 이전 버전에서는 지원되지 않습니다. 이는 Spark의 Cartesian 조인 기능을 사용하여 임의의 하위 쿼리, 특히 상관된 하위 쿼리를 효율적으로 표현할 수 없기 때문입니다. 그럼에도 불구하고 FROM 절의 하위 쿼리는 효과적인 대안을 제공합니다.

위 내용은 Spark SQL 버전에 따라 하위 쿼리 지원이 어떻게 다릅니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!