PySpark の Apache Spark タスクから Java/Scala 関数を呼び出す方法

Apache Spark タスクから Java/Scala 関数にアクセスする

PySpark では、タスク内での Java/Scala 関数の呼び出しは、次の制限により困難になる場合があります。 Py4J ゲートウェイ。

根本的な問題

Python と Java/Scala 間の通信を容易にする Py4J ゲートウェイはドライバー上でのみ実行され、ワー​​カーはアクセスできません。 DecisionTreeModel.predict などの特定の操作は、JavaModelWrapper.call を使用して、SparkContext への直接アクセスを必要とする Java 関数を呼び出します。

回避策

デフォルトの Py4J 通信は実行できません。いくつかの回避策があります:

• Spark SQL データ ソース API:

  • JVM コードをカスタム データ ソースとして統合します。
  • 長所: 高レベルでサポートされており、内部 PySpark アクセスは必要ありません。
  • 短所: 冗長でドキュメントが限られています。

• Scala UDF:

  • DataFrame に適用できる Scala 関数を定義します。
  • 長所: 実装が簡単、最小限のデータ変換、最小限の Py4J アクセス。
  • 短所: 内部 Py4J および API アクセスが必要で、Spark SQL に限定されます。

• Scala インターフェイス:

  • カスタム Scala インターフェイスの作成MLlib のものと同様です。
  • 長所: 柔軟で複雑なコード実行、DataFrame または RDD 統合のオプション。
  • 短所: 低レベル、データ変換が必要、サポートされていません。

• 外部ワークフロー管理:

  • ツールを使用して Python と Scala/Java 間の移行を管理し、分散ファイル システムを介してデータを渡します。
  • 長所: 実装が簡単で、コード変更は最小限です。
  • 短所: 追加のストレージコストがかかります。

• 共有 SQLContext:

  • 共有 SQLContext を利用して、一時テーブルを介して通信します。
  • 長所: 対話型分析に適しています。
  • 短所: バッチ ジョブには理想的ではない可能性があります。

以上がPySpark の Apache Spark タスクから Java/Scala 関数を呼び出す方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。