Spark-submit を使用して JAR ファイルを Spark ジョブに追加するにはどうすればよいですか?

spark-submit を使用して JAR ファイルを Spark ジョブに追加する方法

背景:

Spark-submit は、Spark アプリケーションを送信するために使用されるコマンドライン ツールです。これにより、ユーザーはアプリケーションのクラスパスへの JAR ファイルの追加など、さまざまなオプションを指定できます。

クラス パスと JAR 配布:

• クラスパス: JAR ファイルは次の方法で追加されます。 Spark-submit オプション (--driver-class-path、--conf、spark.driver.extraClassPath、--conf、spark.executor.extraClassPath) は、ドライバまたはエグゼキュータ ノードのクラスパスを変更します。
• JAR ディストリビューション: --jars または SparkContext.addJar メソッドを介して追加された JAR ファイルは、ワーカー ノードに自動的に配布されます。

オプション分析:

1. --jars と SparkContext.addJar

• これらのオプションは両方とも、アプリケーションのクラスパスに JAR ファイルを追加する同じ機能を実行します。ただし、これらは別のコンテキストで使用されます。

  • --jars: Spark-submit コマンド ライン中に使用されます。
  • SparkContext.addJar: Spark アプリケーション内でプログラムによって使用されます。

2. SparkContext.addJar と SparkContext.addFile

• SparkContext.addJar: アプリケーション コードで使用される依存関係を含む JAR ファイルを追加します。
• SparkContext.addFile: 任意のファイルを追加します。アプリケーション コード (構成ファイル、データ ファイルなど) によって直接使用されることはありません。

3. --driver-class-path と --conf spar.driver.extraClassPath

• ドライバー ノードのクラスパス上の追加の JAR ファイルを指定するエイリアス。

4. --driver-library-path と --conf spar.driver.extraLibraryPath

• ドライバー ノード上の追加ライブラリへのパスを指定するエイリアス。

5. --conf dark.executor.extraClassPath

• エグゼキューター ノードのクラスパス上の追加の JAR ファイルを指定します。

6. --conf dark.executor.extraLibraryPath

• エグゼキューター ノード上の追加ライブラリへのパスを指定します。

複数のオプションを同時に使用する:

競合しない限り、複数の JAR ファイル追加オプションを同時に使用しても安全です。ただし、JAR ファイルは、クラスパス上に存在する必要がある場合にのみ、extraClassPath オプションに含める必要があることに注意してください。

例:

次のコマンドは、JAR ファイルの追加を示しています。さまざまなオプションの使用:

spark-submit --jars additional1.jar,additional2.jar \
  --driver-class-path additional1.jar:additional2.jar \
  --conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
  --class MyClass main-application.jar

追加の考慮事項:

• --jars または SparkContext.addJar を使用して追加された JAR ファイルは、各エグゼキュータ ノードの作業ディレクトリにコピーされます。
• 作業ディレクトリの場所は通常、/var/run/spark/work です。 .
• 不必要なリソースの消費を防ぐために、さまざまなオプションで JAR 参照を重複させないでください。

以上がSpark-submit を使用して JAR ファイルを Spark ジョブに追加するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。