Comment ajouter des fichiers JAR à une tâche Spark avec Spark-Submit et comment fonctionne le chemin de classe ?

Ajout de fichiers JAR à une tâche Spark avec Spark-Submit

Effets ClassPath

Utilisation extraClassPath ou --driver-class-path définit le chemin de classe pour le nœud de pilote, tandis que spark.executor.extraClassPath le définit pour les nœuds de travail. Pour qu'un JAR affecte les deux, spécifiez-le dans les deux configurations.

Caractère de séparation

Le séparateur utilisé dépend du système d'exploitation :

• Linux : Deux points (:)
• Windows : Point-virgule (;)

Distribution de fichiers

En mode client, les fichiers sont distribués via un serveur HTTP. En mode cluster, ils doivent être mis à la disposition des travailleurs via HDFS ou un autre stockage partagé.

Types d'URI

Les schémas d'URL acceptés incluent :

• fichier : - Servi par le serveur HTTP du pilote
• hdfs :, http :, https :, ftp : - Récupérer les fichiers directement
• local : - Suppose que les fichiers existent sur chaque nœud de travail

Options concernées

• --jars (ou SparkContext.addJar) : Ajoute des JAR sans modifier le chemin de classe.
• --conf spark.driver.extraClassPath : Ajoute des fichiers JAR au chemin de classe du pilote.
• --conf spark.driver.extraLibraryPath : Ajoute des chemins aux fichiers externes bibliothèques pour le pilote.
• --conf spark.executor.extraClassPath : Ajoute des fichiers JAR au chemin de classe du travailleur.
• --conf spark.executor.extraLibraryPath : Ajoute des chemins vers des bibliothèques externes pour les travailleurs.

Priorité

Les valeurs définies directement sur SparkConf ont priorité sur les indicateurs ou les options de soumission Spark.

Pour plus de simplicité

En mode client, on peut utiliser ce qui suit pour ajouter des JAR pour le pilote et les travailleurs :

spark-submit --jars additional1.jar,additional2.jar \
  --driver-class-path additional1.jar:additional2.jar \
  --conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
  --class MyClass main-application.jar

En mode cluster , cependant, assurez-vous que les JAR sont accessibles via un système de stockage partagé.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!