如何从 Spark 任务中调用 Java/Scala 函数

从 Spark 任务中调用 Java/Scala 函数

背景

使用 Scala 时，调用 DecisionTreeModel.predict 作为地图的一部分转换可能会导致异常。其原因与 JavaModelWrapper.call 方法的调用有关。

理解问题

JavaModelWrapper.call 需要访问 SparkContext，在 PySpark 的上下文中，SparkContext 运行在司机。但是，映射转换在工作节点上运行，因此不允许从映射内调用 JavaModelWrapper.call。

使用 Java UDF 的解决方案

一种解决方案是将 Java 代码封装为用户- 定义函数 (UDF) 并在 Spark SQL 中使用它。这避免了从 Python 任务中调用 Java 代码的问题。但是，此解决方案需要在 Python 和 Scala 之间进行数据转换，并带来额外的复杂性。

使用 Java 服务包装器的解决方案

另一个选项是创建自定义 Java 服务包装器，为 Java 代码提供接口来自Python。这些包装器可以在 Py4j 中注册，并使用 org.apache.spark.api.java.JavaRDD.withContext 进行访问，以获得对 SparkContext 的访问权限。

结论

虽然 Java UDF 和Java 服务包装器提供了从 Spark 任务中调用 Java/Scala 函数的解决方法，在为您的特定用例选择最佳解决方案之前，必须考虑与每种方法相关的开销和限制。

以上是如何从 Spark 任务中调用 Java/Scala 函数的详细内容。更多信息请关注PHP中文网其他相关文章！