您可以從 PySpark 任務呼叫 Java/Scala 函數嗎？

從 PySpark 任務呼叫 Java/Scala 函數

在 PySpark 中，利用 Java 或 Scala 實現的功能可能會帶來挑戰。雖然 Scala API 提供了呼叫 DecisionTreeModel.predict 的建議解決方法，但仍在尋求更通用的解決方案。

技術背景

從 PySpark 呼叫 Java 函數時會出現問題任務，特別是由於 JavaModelWrapper.call 的參與。此方法嘗試存取 SparkContext，這在工作程式碼中不可用。

優雅的解決方案

優雅的解決方案仍然難以捉摸。有兩個重量級選項：

• 透過隱式轉換或包裝器擴充Spark 類別
• 直接使用Py4j 閘道

替代方法

相反，請考慮替代方法：

• 使用Spark SQL 資料來源API： 包裝JVM 程式碼，但實作冗長且輸入範圍有限。
• 使用 Scala UDF 操作 DataFrame：在 DataFrame 上執行複雜的程式碼，避免 Python/Scala 資料轉換，但需要 Py4j 存取。
• 建立 Scala 介面：建構用於任意程式碼執行的 Scala 接口，提供靈活性，但需要低階實現細節和資料轉換。
• 外部工作流程管理工具： 在 Python/Scala 作業之間切換並透過分散式檔案系統（DFS），避免資料轉換，但會產生 I/O 成本。
• 共享 SQLContext：透過臨時表在客戶語言之間傳遞數據，針對互動式分析進行了最佳化，但不適合批次工作。

以上是您可以從 PySpark 任務呼叫 Java/Scala 函數嗎？的詳細內容。更多資訊請關注PHP中文網其他相關文章！