MySQL データベース テーブルを Spark DataFrame として読み取る方法は?

データベース テーブルを Spark DataFrame として読み取るための Apache Spark と MySQL の統合

Apache Spark と MySQL をシームレスに接続し、データベース テーブルからデータを取得するにはSpark DataFrames では、次の手順に従います:

PySpark から、mySqlContext.read 関数を使用して接続を確立します:

<code class="python">dataframe_mysql = mySqlContext.read.format("jdbc")</code>

MySQL 接続に必要な構成パラメータを設定します:

1. url: MySQL データベースの JDBC URL を指定します。
2. driver: MySQL の JDBC ドライバーを定義します (例: "com.mysql.jdbc.Driver")。
3. dbtable: データを読み取る MySQL テーブルの名前を指定します。
4. user: MySQL データベースにアクセスするためのユーザー名を指定します。
5. password: MySQL ユーザーのパスワードを指定します。

load メソッドを使用してテーブル データを DataFrame にロードします。

<code class="python">dataframe_mysql = dataframe_mysql.options(
    url="jdbc:mysql://localhost:3306/my_bd_name",
    driver = "com.mysql.jdbc.Driver",
    dbtable = "my_tablename",
    user="root",
    password="root").load()</code>

データを DataFrame にロードしたら、変換や集計などのさまざまな操作を実行できます。 、Spark の豊富な API セットを使用します。

以上がMySQL データベース テーブルを Spark DataFrame として読み取る方法は?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。