如何使用 Spark-submit 将 JAR 文件添加到 Spark 作业？

如何使用 Spark-submit 将 JAR 文件添加到 Spark 作业

背景：

Spark-submit是一个用于提交Spark应用程序的命令行工具。它允许用户指定各种选项，包括将 JAR 文件添加到应用程序的类路径。

类路径和 JAR 分发：

• ClassPath：通过添加的 JAR 文件火花提交选项（--driver-class-path，--conf spark.driver.extraClassPath，--conf spark.executor.extraClassPath）修改驱动程序或执行程序节点的类路径。
• JAR 分发：通过 --jars 或 SparkContext.addJar 方法添加的 JAR 文件会自动分发到工作节点。

选项分析：

1. --jars vs SparkContext.addJar

• 这两个选项执行相同的功能，将 JAR 文件添加到应用程序的类路径。但是，它们在不同的上下文中使用：

  • --jars：在spark-submit命令行期间使用。
  • SparkContext.addJar：在Spark应用程序中以编程方式使用。

2。 SparkContext.addJar 与 SparkContext.addFile

• SparkContext.addJar：添加包含应用程序代码使用的依赖项的 JAR 文件。
• SparkContext.addFile：添加任意文件应用程序代码可能无法直接使用的内容（例如配置文件、数据文件）。

3. --driver-class-path 与 --conf spark.driver.extraClassPath

• 在驱动程序节点的类路径上指定其他 JAR 文件的别名。

4。 --driver-library-path 与 --conf spark.driver.extraLibraryPath

• 指定驱动程序节点上其他库的路径的别名。

5。 --conf Spark.executor.extraClassPath

• 在执行器节点的类路径上指定其他 JAR 文件。

6. --conf Spark.executor.extraLibraryPath

• 指定执行器节点上其他库的路径。

同时使用多个选项：

只要不冲突，都是安全的同时使用多个 JAR 文件添加选项。但是，请注意，只有当 JAR 文件需要位于类路径上时，才应将其包含在 extraClassPath 选项中。

示例：

以下命令演示添加 JAR 文件使用各种选项：

spark-submit --jars additional1.jar,additional2.jar \
  --driver-class-path additional1.jar:additional2.jar \
  --conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
  --class MyClass main-application.jar

其他注意事项：

• 使用 --jars 或 SparkContext.addJar 添加的 JAR 文件将被复制到每个执行器节点的工作目录。
• 工作目录的位置通常为 /var/run/spark/work .
• 避免在不同选项中重复 JAR 引用，以防止不必要的资源消耗。

以上是如何使用 Spark-submit 将 JAR 文件添加到 Spark 作业？的详细内容。更多信息请关注PHP中文网其他相关文章！