如何使用'spark-submit”管理 Spark JAR 檔案相依性？

使用「spark-submit」來了解Spark JAR 檔案管理

將JAR 檔案加入Spark 作業

使用「spark」提交Spark 作業時-submit”，您有多個選項用於添加其他JAR檔案：

ClassPath

使用「--driver-class-path」和「--spark.executor.extraClassPath」等選項修改類別路徑。尋找並載入該JAR 中的類別。檔案的分隔符號取決於作業系統。 >透過「--jars」或「新增的JAR 檔案SparkContext.addJar()」會在客戶端模式下自動分發到所有工作節點。 S3 等外部來源存取JAR 檔案。的JAR 文件，包括本地文件路徑、HDFS 、HTTP、HTTPS 和FTP。 🎜>

選項優先權

直接在SparkConf上設定的屬性具有最高優先級，其次是傳遞給「spark-submit」的標誌，然後是「spark-defaults.conf」中的選項。

具體選項角色

--jars

,SparkContext.addJar()：新增JAR文件，但不修改ClassPath。

--driver-class-path

，spark.driver.extraClassPath：將 JAR 檔案新增至驅動程式的 ClassPath。

--driver-library-path

，spark.driver。 extraLibraryPath：修改驅動程式的庫路徑設定。

**--conf spark.executor.extraClassPath`：將 JAR 檔案加入執行器的 ClassPath。

**--conf Spark.executor。 extraLibraryPath`：修改執行器的庫路徑設定。

• 組合選項在客戶端模式下，可以安全地使用多個選項將 JAR 檔案新增至驅動程式和工作節點。然而，在叢集模式下，您可能需要使用額外的方法來確保 JAR 檔案可供所有工作節點使用。

以上是如何使用'spark-submit”管理 Spark JAR 檔案相依性？的詳細內容。更多資訊請關注PHP中文網其他相關文章！