Comment lire les tables de base de données MySQL en tant que Spark DataFrames ?

Intégrer Apache Spark à MySQL pour lire les tables de base de données en tant que Spark DataFrames

Pour connecter de manière transparente Apache Spark à MySQL et récupérer les données des tables de base de données comme Spark DataFrames, suivez ces étapes :

Depuis PySpark, utilisez la fonction mySqlContext.read pour établir la connexion :

<code class="python">dataframe_mysql = mySqlContext.read.format("jdbc")</code>

Définissez les paramètres de configuration requis pour la connexion MySQL :

1. url : spécifiez l'URL JDBC pour la base de données MySQL.
2. pilote : définissez le pilote JDBC pour MySQL (par exemple, "com.mysql.jdbc.Driver").
3. dbtable : indiquez le nom de la table MySQL à partir de laquelle lire les données.
4. utilisateur : indiquez le nom d'utilisateur pour accéder à la base de données MySQL.
5. mot de passe : spécifiez le mot de passe de l'utilisateur MySQL.

Chargez les données de la table dans un DataFrame en utilisant la méthode de chargement :

<code class="python">dataframe_mysql = dataframe_mysql.options(
    url="jdbc:mysql://localhost:3306/my_bd_name",
    driver = "com.mysql.jdbc.Driver",
    dbtable = "my_tablename",
    user="root",
    password="root").load()</code>

Une fois que vous avez chargé les données dans un DataFrame, vous pouvez y effectuer diverses opérations, telles que des transformations et des agrégations. , en utilisant le riche ensemble d'API de Spark.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!