如何將 MySQL 資料庫表讀取為 Spark DataFrame？

將Apache Spark 與MySQL 集成，以Spark DataFrame 形式讀取資料庫表

將Apache Spark 與MySQL 無縫連接，並從資料庫表中擷取資料Spark DataFrames，請依照下列步驟操作：

從PySpark，使用mySqlContext.read 函數建立連線：

<code class="python">dataframe_mysql = mySqlContext.read.format("jdbc")</code>

設定MySQL 連線所需的設定參數：

1. url：指定MySQL 資料庫的JDBC URL。
2. driver：定義 MySQL 的 JDBC 驅動程式（例如，「com.mysql.jdbc.Driver」）。
3. dbtable：表示要從中讀取資料的 MySQL 表的名稱。
4. user：提供存取 MySQL 資料庫的使用者名稱。
5. password：指定 MySQL 使用者的密碼。

使用load 方法將表格資料​​載入DataFrame 中：

<code class="python">dataframe_mysql = dataframe_mysql.options(
    url="jdbc:mysql://localhost:3306/my_bd_name",
    driver = "com.mysql.jdbc.Driver",
    dbtable = "my_tablename",
    user="root",
    password="root").load()</code>

將資料載入到DataFrame 後，您可以對其執行各種操作，例如轉換和聚合，使用Spark 豐富的API 集合。

以上是如何將 MySQL 資料庫表讀取為 Spark DataFrame？的詳細內容。更多資訊請關注PHP中文網其他相關文章！