So verwenden Sie PySpark für maschinelles Lernen

Seit der Veröffentlichung von Apache Spark (einem Open-Source-Framework für die Verarbeitung großer Datenmengen) hat es sich zu einer der am weitesten verbreiteten Technologien für die parallele Verarbeitung großer Datenmengen über mehrere Container hinweg entwickelt – es zeichnet sich durch Effizienz und Geschwindigkeit aus im Vergleich zu ähnlicher Software, die es davor gab.

Die Arbeit mit dieser erstaunlichen Technologie in Python ist über PySpark möglich, eine Python-API, die es Ihnen ermöglicht, mit der Programmiersprache Python zu interagieren und das erstaunliche Potenzial von ApacheSpark zu nutzen.

In diesem Artikel erfahren Sie, wie Sie mit PySpark ein Modell für maschinelles Lernen mithilfe des linearen Regressionsalgorithmus erstellen und damit beginnen.

Hinweis: Vorkenntnisse in Python, einer IDE wie VSCode, die Verwendung einer Eingabeaufforderung/eines Terminals und Vertrautheit mit Konzepten des maschinellen Lernens sind für das richtige Verständnis der in diesem Artikel enthaltenen Konzepte unerlässlich.

Wenn Sie diesen Artikel lesen, sollten Sie in der Lage sein:

• Verstehen Sie, was ApacheSpark ist.
• Erfahren Sie mehr über PySpark und wie Sie es für maschinelles Lernen verwenden.

Worum geht es bei PySpark?

Laut der offiziellen Website von Apache Spark können Sie mit PySpark die kombinierten Stärken von ApacheSpark (Einfachheit, Geschwindigkeit, Skalierbarkeit, Vielseitigkeit) und Python (reiches Ökosystem, ausgereifte Bibliotheken, Einfachheit) für „Data Engineering“ nutzen , Datenwissenschaft und maschinelles Lernen auf Einzelknotenmaschinen oder Clustern.“

Bildquelle

PySpark ist die Python-API für ApacheSpark, das heißt, sie dient als Schnittstelle, die es Ihrem in Python geschriebenen Code ermöglicht, mit der in Scala geschriebenen ApacheSpark-Technologie zu kommunizieren. Auf diese Weise können Fachleute, die bereits mit dem Python-Ökosystem vertraut sind, die ApacheSpark-Technologie schnell nutzen. Dadurch wird auch sichergestellt, dass vorhandene in Python verwendete Bibliotheken relevant bleiben.

Detaillierte Anleitung zur Verwendung von PySpark für maschinelles Lernen

In den folgenden Schritten erstellen wir ein maschinelles Lernmodell unter Verwendung des linearen Regressionsalgorithmus:

• Projektabhängigkeiten installieren: Ich gehe davon aus, dass Sie Python bereits auf Ihrem Computer installiert haben. Wenn nicht, installieren Sie es, bevor Sie mit dem nächsten Schritt fortfahren. Öffnen Sie Ihr Terminal oder Ihre Eingabeaufforderung und geben Sie den folgenden Code ein, um die PySpark-Bibliothek zu installieren.

pip install pyspark

Sie können diese zusätzlichen Python-Bibliotheken installieren, wenn Sie sie nicht haben.

pip install pyspark

• Erstellen Sie eine Datei und importieren Sie die erforderlichen Bibliotheken: Öffnen Sie VSCode und erstellen Sie im von Ihnen gewählten Projektverzeichnis eine Datei für Ihr Projekt, z. B. pyspart_model.py. Öffnen Sie die Datei und importieren Sie die erforderlichen Bibliotheken für das Projekt.

pip install pandas numpy

• Erstellen Sie eine Spark-Sitzung: Starten Sie eine Spark-Sitzung für das Projekt, indem Sie diesen Code unter den Importen eingeben.

from pyspark.sql import SparkSession
from pyspark.ml.feature import VectorAssembler
from pyspark.ml.classification import LogisticRegression
from pyspark.ml.evaluation import BinaryClassificationEvaluator
import pandas as pd

• Lesen Sie die CSV-Datei (den Datensatz, mit dem Sie arbeiten werden): Wenn Sie Ihren Datensatz mit dem Namen data.csv bereits in Ihrem Projektverzeichnis/-ordner haben, laden Sie ihn mit dem folgenden Code.

spark = SparkSession.builder.appName("LogisticRegressionExample").getOrCreate()

• Explorative Datenanalyse: Dieser Schritt hilft Ihnen, den Datensatz zu verstehen, mit dem Sie arbeiten. Suchen Sie nach Nullwerten und entscheiden Sie sich für den zu verwendenden Bereinigungsansatz.

data = spark.read.csv("data.csv", header=True, inferSchema=True)

Wenn Sie mit einem kleinen Datensatz arbeiten, können Sie diesen optional in einen Python-Datenrahmen und ein Python-Verzeichnis konvertieren und Python verwenden, um nach fehlenden Werten zu suchen.

# Display the schema my
 data.printSchema() 
# Show the first ten rows 
data.show(10)
# Count null values in each column
missing_values = df.select(
    [count(when(isnull(c), c)).alias(c) for c in df.columns]
)

# Show the result
missing_values.show()

• Datenvorverarbeitung: Dieser Schritt umfasst die Konvertierung der Spalten/Features im Datensatz in ein Format, das die maschinelle Lernbibliothek von PySpark leicht verstehen kann oder mit dem es kompatibel ist.

Verwenden Sie VectorAssembler, um alle Features in einer einzigen Vektorspalte zu kombinieren.

pandas_df = data.toPandas()
# Use Pandas to check missing values
print(pandas_df.isna().sum())

• Datensatz aufteilen: Teilen Sie den Datensatz in einem für Sie passenden Verhältnis auf. Hier verwenden wir 70 % bis 30 %: 70 % für das Training und 30 % für das Testen des Modells.

# Combine feature columns into a single vector column
feature_columns = [col for col in data.columns if col != "label"]
assembler = VectorAssembler(inputCols=feature_columns, outputCol="features")

# Transform the data
data = assembler.transform(data)

# Select only the 'features' and 'label' columns for training
final_data = data.select("features", "label")

# Show the transformed data
final_data.show(5)

• Trainieren Sie Ihr Modell: Wir verwenden den logistischen Regressionsalgorithmus zum Trainieren unseres Modells.

Erstellen Sie eine Instanz der LogisticRegression-Klasse und passen Sie das Modell an.

train_data, test_data = final_data.randomSplit([0.7, 0.3], seed=42)

• Machen Sie Vorhersagen mit Ihrem trainierten Modell: Verwenden Sie das Modell, das wir im vorherigen Schritt trainiert haben, um Vorhersagen zu treffen

lr = LogisticRegression(featuresCol="features", labelCol="label")

# Train the model
lr_model = lr.fit(train_data)

• Modellbewertung: Hier wird das Modell bewertet, um seine Vorhersageleistung oder seinen Grad an Korrektheit zu bestimmen. Dies erreichen wir durch den Einsatz einer geeigneten Bewertungsmetrik.

Bewerten Sie das Modell anhand der AUC-Metrik

predictions = lr_model.transform(test_data)
# Show predictions
predictions.select("features", "label", "prediction", "probability").show(5)

Der für diesen Artikel verwendete End-to-End-Code ist unten dargestellt:

evaluator = BinaryClassificationEvaluator(rawPredictionCol="rawPrediction", labelCol="label", metricName="areaUnderROC")

# Compute the AUC
auc = evaluator.evaluate(predictions)
print(f"Area Under ROC: {auc}")

Nächste Schritte ?

Wir sind am Ende dieses Artikels angelangt. Indem Sie die oben genannten Schritte ausführen, haben Sie Ihr Modell für maschinelles Lernen mit PySpark erstellt.

Stellen Sie immer sicher, dass Ihr Datensatz sauber und frei von Nullwerten ist, bevor Sie mit den nächsten Schritten fortfahren. Stellen Sie abschließend sicher, dass alle Ihre Features numerische Werte enthalten, bevor Sie mit dem Training Ihres Modells beginnen.

Das obige ist der detaillierte Inhalt vonSo verwenden Sie PySpark für maschinelles Lernen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!