パイプラインを使用して操作を結合する

DSS ワークフローでは、SQL パイプラインは、それぞれが同じ SQL エンジンを使用する複数の後続のレシピを混合するプロセスです。その後、これらの統合されたレシピ (ビジュアル レシピや SQL クエリ レシピなど) を含む単一のジョブ アクティビティを実行できます。

通常、SQL クエリはリレーショナル代数の式、つまり一連のリレーショナル演算に変換されます。一度に 1 つの操作のみを実行すると、一時的な操作の結果を保存するためにディスク上に一時ファイルを作成する必要があるため、コストがかかりすぎます。大きな一時ファイルを作成してディスクに保存する必要がありますが、これには時間がかかりますが、次のプロセスでこれらのファイルが入力としてすぐに使用されるため、通常は必要ありません。一時ファイルの数を減らすために、クエリ内の操作の特定の組み合わせのアルゴリズムに対応するクエリ実行コードを生成するのが一般的です。

＃＃＃例＃＃＃

たとえば、2 つの入力ファイルと 1 つの出力ファイルを持つメソッドは、これらの各操作を個別に実装するのではなく、入力ファイルに対して JOIN 操作と 2 つの SELECT 操作を実行し、結果ファイルに対して最後の PROJECT 操作を実行できます。 4 つの一時ファイルを作成する代わりに、このメソッドを適用して、結果として得られるファイルは 1 つだけです。パイプライン処理またはストリームベースの処理は、この目的に使用される用語です。

＃＃＃結論は＃＃＃

多数の操作を実行するために、クエリ実行コードを動的に生成するのが一般的です。クエリは、さまざまなプロセスに対応する多数のアルゴリズムを含むコードを作成することによって生成されます。操作が実行された後、結果のタプルが生成され、他の操作の入力として使用されます。たとえば、基本関係に対する 2 つの SELECT 操作の後に JOIN 操作が続く場合、各 SELECT 操作によって作成されたタプルはストリームまたはパイプラインに供給され、JOIN プロセスへの入力として使用されます。

以上がパイプラインを使用して操作を結合するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。