Maison  >  Article  >  base de données  >  Comment lire des tables MySQL en tant que Spark DataFrames ?

Comment lire des tables MySQL en tant que Spark DataFrames ?

Patricia Arquette
Patricia Arquetteoriginal
2024-11-01 02:08:02187parcourir

How to Read MySQL Tables as Spark DataFrames?

Intégrer Apache Spark à MySQL pour la lecture des tables de base de données

Pour connecter Apache Spark à MySQL et exploiter les tables de base de données en tant que dataframes Spark, suivez ces étapes :

  1. Créer une session Spark:

    <code class="python">from pyspark.sql import SparkSession
    
    # Create a Spark session object
    spark = SparkSession.builder \
        .appName("Spark-MySQL-Integration") \
        .getOrCreate()</code>
  2. Instancier un connecteur MySQL :

    <code class="python">from pyspark.sql import DataFrameReader
    
    # Create a DataFrameReader object for MySQL connection
    jdbc_df_reader = DataFrameReader(spark)</code>
  3. Configurer les paramètres de connexion MySQL :

    <code class="python"># Set MySQL connection parameters
    jdbc_params = {
        "url": "jdbc:mysql://localhost:3306/my_db",
        "driver": "com.mysql.jdbc.Driver",
        "dbtable": "my_table",
        "user": "root",
        "password": "password"
    }</code>
  4. Lire la table de base de données :

    <code class="python"># Read the MySQL table as a Spark dataframe
    dataframe_mysql = jdbc_df_reader.format("jdbc") \
        .options(**jdbc_params) \
        .load()
    
    # Print the dataframe schema
    dataframe_mysql.printSchema()</code>

Cette approche montre comment intégrer Apache Spark à MySQL, vous permettant d'accéder aux tables de base de données en tant que dataframes Spark.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration:
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn