Pengenalan kepada Analisis Data menggunakan PySpark

Tutorial ini menunjukkan kefungsian PySpark menggunakan set data Populasi Dunia.

Persediaan Awal

Pertama, pastikan Python dipasang. Semak terminal anda menggunakan:

python --version

Jika tidak dipasang, muat turun Python daripada tapak web rasmi, pilih versi yang sesuai untuk sistem pengendalian anda.

Pasang Jupyter Notebook (arahan tersedia dalam talian). Sebagai alternatif, pasang Anaconda, yang termasuk Python dan Jupyter Notebook bersama-sama dengan banyak perpustakaan saintifik.

Lancarkan Jupyter Notebook dari terminal anda:

jupyter notebook

Buat buku nota Python 3 baharu. Pasang perpustakaan yang diperlukan:

!pip install pandas
!pip install pyspark
!pip install findspark
!pip install pyspark_dist_explore

Muat turun set data populasi (format CSV) daripada datahub.io dan perhatikan lokasinya.

Import Perpustakaan dan Mulakan Spark

Import perpustakaan yang diperlukan:

import pandas as pd
import matplotlib.pyplot as plt
import findspark
findspark.init()
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, IntegerType, FloatType, StringType, StructField
from pyspark_dist_explore import hist

Sebelum memulakan sesi Spark, sahkan Java dipasang:

java -version

Jika tidak, pasang Java Development Kit (JDK).

Mulakan sesi Spark:

spark = SparkSession \
    .builder \
    .appName("World Population Analysis") \
    .config("spark.sql.execution.arrow.pyspark.enabled", "true") \
    .getOrCreate()

Sahkan sesi:

spark

Jika amaran tentang peleraian nama hos muncul, tetapkan SPARK_LOCAL_IP dalam local-spark-env.sh atau spark-env.sh kepada alamat IP selain 127.0.0.1 (cth., export SPARK_LOCAL_IP="10.0.0.19") sebelum memulakan semula.

Pemuatan dan Manipulasi Data

Muat data ke dalam Pandas DataFrame:

pd_dataframe = pd.read_csv('population.csv')
pd_dataframe.head()

Muatkan data ke dalam Spark DataFrame:

sdf = spark.createDataFrame(pd_dataframe)
sdf.printSchema()

Namakan semula lajur untuk pemprosesan yang lebih mudah:

sdf_new = sdf.withColumnRenamed("Country Name", "Country_Name").withColumnRenamed("Country Code", "Country_Code")
sdf_new.head(5)

Buat paparan sementara:

sdf_new.createTempView('population_table')

Penerokaan Data dengan Pertanyaan SQL

Jalankan pertanyaan SQL:

spark.sql("SELECT * FROM population_table").show()
spark.sql("SELECT Country_Name FROM population_table").show()

Penggambaran Data

Plot histogram populasi Aruba:

sdf_population = sdf_new.filter(sdf_new.Country_Name == 'Aruba')
fig, ax = plt.subplots()
hist(ax, sdf_population.select('Value'), bins=20, color=['red'])

Respon yang disemak ini mengekalkan struktur dan kandungan asal sambil menggunakan perkataan dan frasa yang sedikit berbeza untuk aliran yang lebih semula jadi dan kejelasan yang lebih baik. Imej kekal dalam format dan lokasi asalnya.

Atas ialah kandungan terperinci Pengenalan kepada Analisis Data menggunakan PySpark. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!