Bagaimana untuk Membaca Jadual MySQL sebagai Spark DataFrames?

Mengintegrasikan Apache Spark dengan MySQL untuk Pembacaan Jadual Pangkalan Data

Untuk menyambungkan Apache Spark dengan MySQL dan memanfaatkan jadual pangkalan data sebagai kerangka data Spark, ikut langkah ini :

1. Buat Sesi Spark:

   <code class="python">from pyspark.sql import SparkSession
   
   # Create a Spark session object
   spark = SparkSession.builder \
       .appName("Spark-MySQL-Integration") \
       .getOrCreate()</code>

2. Semula Penyambung MySQL:

   <code class="python">from pyspark.sql import DataFrameReader
   
   # Create a DataFrameReader object for MySQL connection
   jdbc_df_reader = DataFrameReader(spark)</code>

3. Konfigurasikan Parameter Sambungan MySQL:

   <code class="python"># Set MySQL connection parameters
   jdbc_params = {
       "url": "jdbc:mysql://localhost:3306/my_db",
       "driver": "com.mysql.jdbc.Driver",
       "dbtable": "my_table",
       "user": "root",
       "password": "password"
   }</code>

4. Baca Jadual Pangkalan Data :

   <code class="python"># Read the MySQL table as a Spark dataframe
   dataframe_mysql = jdbc_df_reader.format("jdbc") \
       .options(**jdbc_params) \
       .load()
   
   # Print the dataframe schema
   dataframe_mysql.printSchema()</code>

Pendekatan ini menunjukkan cara menyepadukan Apache Spark dengan MySQL, membolehkan anda mengakses jadual pangkalan data sebagai kerangka data Spark.

Atas ialah kandungan terperinci Bagaimana untuk Membaca Jadual MySQL sebagai Spark DataFrames?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!