Wie werden JAR-Dateien mithilfe von Spark-Submit zu einem Spark-Job hinzugefügt, und welche unterschiedlichen Optionen und Überlegungen gibt es dafür?

Hinzufügen von JAR-Dateien zu einem Spark-Job mit Spark-Submit

Bei Verwendung von Spark-Submit gibt es mehrere Optionen zum Hinzufügen von JAR-Dateien zu einem Spark-Job, jeweils mit seine eigenen Auswirkungen auf Klassenpfad, Dateiverteilung und Priorität.

ClassPath-Effekte

Spark-Submit beeinflusst ClassPaths durch diese Optionen:

• spark.driver.extraClassPath oder --driver-class-path: Gibt zusätzliche Klassenpfade für den Treiberknoten an.
• spark.executor.extraClassPath: Gibt an zusätzliche Klassenpfade für Worker-Knoten.

Damit eine Datei auf beiden eingebunden werden kann ClassPaths, es muss in beiden Flags angegeben werden.

Dateiverteilung

Die Dateiverteilung hängt vom Ausführungsmodus ab:

• Client-Modus: Spark verteilt Dateien über HTTP an Worker-Knoten Server.
• Cluster-Modus: Spark verteilt keine Dateien, und Sie müssen sie manuell allen Arbeitsknoten über HDFS oder einen anderen gemeinsam genutzten Speicher zur Verfügung stellen.

Akzeptierte URI-Formate

Spark-Submit unterstützt die folgenden URI-Präfixe für Dateiverteilung:

• Datei:: Wird vom Treiber-HTTP-Server bereitgestellt.
• hdfs:, http:, https:, ftp:: Wird vom angegebenen URI abgerufen.
• local:: Muss eine lokale Datei auf jedem Worker-Knoten sein.

Betroffen Optionen

Die in der Frage genannten Optionen wirken sich wie folgt auf die JAR-Dateiverarbeitung aus:

• --jars und SparkContext.addJar: Äquivalente Optionen, die keine JARs zu ClassPaths hinzufügen.
• SparkContext.addFile: Wird für beliebige Dateien verwendet, die keine Laufzeitabhängigkeiten sind.
• --conf spark.driver.extraClassPath oder --driver-class-path: Aliase für Treiber-ClassPath-Änderungen.
• --conf spark.driver.extraLibraryPath oder --driver-library-path: Aliase für Treiberbibliothekspfade.
• --conf spark.executor.extraClassPath: Wird für Laufzeitabhängigkeiten verwendet, die nicht in einem Über enthalten sein können JAR.
• --conf spark.executor.extraLibraryPath: Gibt die java.library.path-Option der JVM an.

Priorität

Eigenschaften, die direkt auf SparkConf festgelegt werden, haben die höchste Priorität, gefolgt von Spark-Submit-Flags und dann Optionen in spark-defaults.conf. Daher überschreiben alle im Code festgelegten Werte die entsprechenden Flags oder Optionen.

Gleichzeitiges Hinzufügen von JAR-Dateien

Im Client-Modus ist es sicher, JAR-Dateien mit allen drei Hauptoptionen hinzuzufügen:

spark-submit --jars additional1.jar,additional2.jar \
  --driver-class-path additional1.jar:additional2.jar \
  --conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
  --class MyClass main-application.jar

Im Cluster-Modus sollten Sie Dateien jedoch nur mit --jars hinzufügen und diese selbst manuell an die Worker-Knoten verteilen. Redundante Argumente wie die Übergabe von JAR-Dateien an --driver-library-path sollten vermieden werden.

Das obige ist der detaillierte Inhalt vonWie werden JAR-Dateien mithilfe von Spark-Submit zu einem Spark-Job hinzugefügt, und welche unterschiedlichen Optionen und Überlegungen gibt es dafür?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!