Bagaimanakah Saya Boleh Mengambil Keputusan Pertanyaan Khusus daripada Pangkalan Data Luaran Menggunakan JDBC PySpark?

Mengambil Keputusan Pertanyaan Khusus daripada Pangkalan Data Luaran dalam Apache Spark 2.0.0

Apabila bekerja dengan pangkalan data luaran dalam Apache Spark 2.0.0 menggunakan PySpark , pengguna mungkin mahu mengambil data daripada pertanyaan tertentu dan bukannya mengambil keseluruhan jadual. Ini boleh meningkatkan prestasi dan mengurangkan pemindahan data.

Soalan:

Dalam kod PySpark berikut, df DataFrame dimuatkan daripada jadual pangkalan data bernama "schema.tablename" . Bagaimanakah kita boleh mengubah suai kod untuk mengambil data daripada set hasil pertanyaan tersuai?

from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .appName("spark play")\
    .getOrCreate()    

df = spark.read\
    .format("jdbc")\
    .option("url", "jdbc:mysql://localhost:port")\
    .option("dbtable", "schema.tablename")\
    .option("user", "username")\
    .option("password", "password")\
    .load()

Jawapan:

Untuk mengambil set keputusan tersuai pertanyaan, sediakan pertanyaan sebagai hujah "dbtable" dalam pilihan Spark DataFrameReader. Pertanyaan mesti disertakan dalam kurungan dan dialiaskan kepada nama jadual sementara.

...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...

Dengan menghantar subquery sebagai argumen "dbtable", Spark akan melaksanakan pertanyaan dan memuatkan data yang terhasil ke dalam DataFrame. Ini membolehkan pengguna mendapatkan semula data tertentu daripada pangkalan data luaran tanpa overhed untuk mengambil keseluruhan jadual.

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Mengambil Keputusan Pertanyaan Khusus daripada Pangkalan Data Luaran Menggunakan JDBC PySpark?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!