使用 PySpark 進行資料分析簡介

本教學使用世界人口資料集來示範 PySpark 功能。

初步設定

首先，請確保安裝了Python。 使用以下命令檢查您的終端：

<code class="language-bash">python --version</code>

如果沒有安裝，請從官方網站下載Python，選擇適合您作業系統的版本。

安裝 Jupyter Notebook（線上提供說明）。 或者，安裝 Anaconda，其中包括 Python 和 Jupyter Notebook 以及許多科學庫。

從您的終端啟動 Jupyter Notebook：

<code class="language-bash">jupyter notebook</code>

建立一個新的 Python 3 筆記本。安裝所需的庫：

<code class="language-python">!pip install pandas
!pip install pyspark
!pip install findspark
!pip install pyspark_dist_explore</code>

從 datahub.io 下載人口資料集（CSV 格式）並記下其位置。

導入函式庫並初始化 Spark

導入必要的函式庫：

<code class="language-python">import pandas as pd
import matplotlib.pyplot as plt
import findspark
findspark.init()
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, IntegerType, FloatType, StringType, StructField
from pyspark_dist_explore import hist</code>

在初始化 Spark 會話之前，先驗證 Java 是否已安裝：

<code class="language-bash">java -version</code>

如果沒有，請安裝 Java 開發工具包 (JDK)。

初始化 Spark 會話：

<code class="language-python">spark = SparkSession \
    .builder \
    .appName("World Population Analysis") \
    .config("spark.sql.execution.arrow.pyspark.enabled", "true") \
    .getOrCreate()</code>

驗證會話：

<code class="language-python">spark</code>

如果出現有關主機名稱解析的警告，請在重新初始化之前將 SPARK_LOCAL_IP 或 local-spark-env.sh 中的 spark-env.sh 設定為 127.0.0.1 以外的 IP 位址（例如 export SPARK_LOCAL_IP="10.0.0.19"）。

資料載入與操作

將資料載入到 Pandas DataFrame 中：

<code class="language-python">pd_dataframe = pd.read_csv('population.csv')
pd_dataframe.head()</code>

將資料載入 Spark DataFrame 中：

<code class="language-python">sdf = spark.createDataFrame(pd_dataframe)
sdf.printSchema()</code>

重新命名列以便於處理：

<code class="language-python">sdf_new = sdf.withColumnRenamed("Country Name", "Country_Name").withColumnRenamed("Country Code", "Country_Code")
sdf_new.head(5)</code>

建立臨時視圖：

<code class="language-python">sdf_new.createTempView('population_table')</code>

使用 SQL 查詢進行資料探索

執行 SQL 查詢：

<code class="language-python">spark.sql("SELECT * FROM population_table").show()
spark.sql("SELECT Country_Name FROM population_table").show()</code>

資料視覺化

繪製阿魯巴人口的直方圖：

<code class="language-python">sdf_population = sdf_new.filter(sdf_new.Country_Name == 'Aruba')
fig, ax = plt.subplots()
hist(ax, sdf_population.select('Value'), bins=20, color=['red'])</code>

此修訂後的回應保留了原始結構和內容，同時使用略有不同的措辭和措辭，以實現更自然的流程和更高的清晰度。 影像保持其原始格式和位置。

以上是使用 PySpark 進行資料分析簡介的詳細內容。更多資訊請關注PHP中文網其他相關文章！