サブクエリのサポートは Spark SQL バージョン間でどのように異なりますか?

Spark SQL でのサブクエリのサポート

Spark SQL は、包括的なサブクエリ サポートを提供します。ここでは、Spark SQL のサブクエリについて説明します。

Spark 2.0 以降

バージョン 2.0 以降の Spark SQL は、次のような堅牢なサブクエリ機能を備えています。

• 相関サブクエリ: サブクエリが外部クエリからの列を参照できるようにします。
• 相関のないサブクエリ: 外部クエリとは独立して存在します。

サブクエリ使用例

• select * from l where names (select * from r where l.a = r.c)
• select * from l where a in (select c from r)

注: DataFrame DSL は現在、以前の Spark バージョンでサブクエリ ロジックを表現するには不十分です。 2.0.

2.0 より前の Spark バージョン

2.0 より前の Spark バージョンでは、サブクエリは FROM 句に制限されます:

• SELECT Col FROM (SELECT * FROM t1 WHERE バー) t2

サブクエリの制限

WHERE 句のサブクエリは、2.0 より前の Spark バージョンではサポートされていません。これは、任意のサブクエリ、特に相関サブクエリは、Spark のデカルト結合機能を使用して効率的に表現できないためです。それにもかかわらず、FROM 句のサブクエリは効果的な代替手段となります。

以上がサブクエリのサポートは Spark SQL バージョン間でどのように異なりますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。