Bagaimana untuk Memanggil Fungsi Java/Scala daripada Apache Spark Tasks dalam PySpark?

Mengakses Java/Scala Functions daripada Apache Spark Tasks

Dalam PySpark, memanggil fungsi Java/Scala dalam tugasan boleh menjadi mencabar kerana pengehadan dengan gerbang Py4J.

Isu Dasar

Gerbang Py4J, yang memudahkan komunikasi antara Python dan Java/Scala, hanya berjalan pada pemandu dan tidak boleh diakses oleh pekerja. Operasi tertentu, seperti DecisionTreeModel.predict, gunakan JavaModelWrapper.call untuk menggunakan fungsi Java yang memerlukan akses terus kepada SparkContext.

Penyelesaian

Walaupun komunikasi Py4J lalai tidak dapat dilaksanakan , terdapat beberapa penyelesaian:

• Spark SQL Data Sources API:

  • Sepadukan kod JVM sebagai sumber data tersuai.
  • Kebaikan: Tahap tinggi, disokong, tidak memerlukan akses PySpark dalaman.
  • Keburukan: Verbose, dokumentasi terhad.

• Scala UDF:

  • Tentukan fungsi Scala yang boleh digunakan pada DataFrames.
  • Kebaikan: Pelaksanaan yang mudah, penukaran data yang minimum, akses Py4J yang minimum.
  • Keburukan : Memerlukan akses Py4J dan API dalaman, terhad kepada Spark SQL.

• Antara Muka Scala:

  • Buat antara muka Scala tersuai serupa dengan yang terdapat dalam MLlib.
  • Kebaikan: Fleksibel, pelaksanaan kod kompleks, pilihan untuk penyepaduan DataFrame atau RDD.
  • Keburukan: Tahap rendah, penukaran data diperlukan, tidak disokong.

• Pengurusan Aliran Kerja Luaran:

  • Gunakan alatan untuk mengurus peralihan antara Python dan Scala/Java, menghantar data melalui sistem fail yang diedarkan.
  • Kebaikan: Pelaksanaan yang mudah, perubahan kod yang minimum.
  • Keburukan: Kos storan tambahan.

• Konteks SQL Dikongsi:

  • Gunakan SQLContext yang dikongsi untuk berkomunikasi melalui jadual sementara.
  • Kebaikan: Sesuai untuk analisis interaktif.
  • Keburukan: Mungkin tidak sesuai untuk kerja kelompok.

Atas ialah kandungan terperinci Bagaimana untuk Memanggil Fungsi Java/Scala daripada Apache Spark Tasks dalam PySpark?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!