Wie unterscheidet sich die Unterabfrageunterstützung zwischen den Spark SQL-Versionen?

Unterabfrageunterstützung in Spark SQL

Spark SQL bietet umfassende Unterabfrageunterstützung. Hier finden Sie eine Untersuchung der Unterabfragen in Spark SQL.

Spark 2.0 und höher

Spark SQL in den Versionen 2.0 und höher verfügt über robuste Unterabfragefunktionen, darunter:

• Korrelierte Unterabfragen: Erlauben Sie Unterabfragen, von außen auf Spalten zu verweisen Abfrage.
• Unkorrelierte Unterabfragen: Existieren unabhängig von der äußeren Abfrage.

Beispiele für die Verwendung von Unterabfragen

• wählen Sie * aus l, wo vorhanden ist (wählen Sie * aus r, wo l.a = r.c)
• select * from l where a in (select c from r)

Hinweis: DataFrame DSL reicht derzeit nicht aus, um Unterabfragelogik in Spark-Versionen auszudrücken vor 2.0.

Spark-Versionen vor 2.0

In Spark-Versionen unter 2.0 sind Unterabfragen auf die FROM-Klausel beschränkt:

• SELECT col FROM (SELECT * FROM t1 WHERE bar) t2

Unterabfrage Einschränkungen

Unterabfragen in der WHERE-Klausel werden in Spark-Versionen vor 2.0 nicht unterstützt. Dies liegt daran, dass beliebige Unterabfragen, insbesondere korrelierte, mit den kartesischen Verknüpfungsfunktionen von Spark nicht effizient ausgedrückt werden können. Dennoch stellen Unterabfragen in der FROM-Klausel eine wirksame Alternative dar.

Das obige ist der detaillierte Inhalt vonWie unterscheidet sich die Unterabfrageunterstützung zwischen den Spark SQL-Versionen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!