MySQL 데이터베이스 테이블을 Spark DataFrame으로 읽는 방법은 무엇입니까?

데이터베이스 테이블을 Spark DataFrame으로 읽기 위해 Apache Spark와 MySQL 통합

Apache Spark를 MySQL과 원활하게 연결하고 다음과 같이 데이터베이스 테이블에서 데이터를 검색하려면 Spark DataFrames에서는 다음 단계를 따르세요.

PySpark에서 mySqlContext.read 함수를 사용하여 연결을 설정합니다.

<code class="python">dataframe_mysql = mySqlContext.read.format("jdbc")</code>

MySQL 연결에 필요한 구성 매개변수를 설정합니다.

1. url: MySQL 데이터베이스의 JDBC URL을 지정합니다.
2. driver: MySQL용 JDBC 드라이버를 정의합니다(예: "com.mysql.jdbc.Driver").
3. dbtable: 데이터를 읽을 MySQL 테이블의 이름을 지정합니다.
4. user: MySQL 데이터베이스에 액세스하기 위한 사용자 이름을 제공합니다.
5. password: MySQL 사용자의 비밀번호를 지정합니다.

load 메서드를 사용하여 테이블 데이터를 DataFrame에 로드합니다.

<code class="python">dataframe_mysql = dataframe_mysql.options(
    url="jdbc:mysql://localhost:3306/my_bd_name",
    driver = "com.mysql.jdbc.Driver",
    dbtable = "my_tablename",
    user="root",
    password="root").load()</code>

DataFrame에 데이터를 로드한 후에는 변환 및 집계와 같은 다양한 작업을 수행할 수 있습니다. , Spark의 풍부한 API 세트를 사용합니다.

위 내용은 MySQL 데이터베이스 테이블을 Spark DataFrame으로 읽는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!