So verarbeiten Sie Ihren Datensatz vor

Einführung

Der Titanic-Datensatz ist ein klassischer Datensatz, der in Datenwissenschafts- und maschinellen Lernprojekten verwendet wird. Es enthält Informationen über die Passagiere der Titanic, und das Ziel besteht häufig darin, vorherzusagen, welche Passagiere die Katastrophe überlebt haben. Vor der Erstellung eines Vorhersagemodells ist es wichtig, die Daten vorzuverarbeiten, um sicherzustellen, dass sie sauber und für die Analyse geeignet sind. Dieser Blogbeitrag führt Sie durch die wesentlichen Schritte der Vorverarbeitung des Titanic-Datensatzes mit Python.

Schritt 1: Laden der Daten

Der erste Schritt in jedem Datenanalyseprojekt ist das Laden des Datensatzes. Wir verwenden die Pandas-Bibliothek, um die CSV-Datei mit den Titanic-Daten zu lesen. Dieser Datensatz enthält Funktionen wie Name, Alter, Geschlecht, Ticket, Fahrpreis und ob der Passagier überlebt hat (Survived).

import pandas as pd
import numpy as np

Laden Sie den Titanic-Datensatz

titanic = pd.read_csv('titanic.csv')
titanic.head()

Verstehen Sie die Daten

Der Datensatz enthält die folgenden Variablen im Zusammenhang mit Passagieren auf der Titanic:

• Überleben: Zeigt an, ob der Passagier überlebt hat.

  • 0 = Nein
  • 1 = Ja

• Pclass: Ticketklasse des Passagiers.

  • 1 = 1. Klasse
  • 2 = 2. Klasse
  • 3 = 3. Klasse

• Geschlecht: Geschlecht des Passagiers.

• Alter: Alter des Passagiers in Jahren.

• SibSp: Anzahl der Geschwister oder Ehepartner an Bord der Titanic.

• Parch: Anzahl der Eltern oder Kinder an Bord der Titanic.

• Ticket: Ticketnummer.

• Tarif: Passagiertarif.

• Kabine: Kabinennummer.

• Eingeschifft: Einschiffungshafen.

  • C = Cherbourg
  • Q = Queenstown
  • S = Southampton

Schritt 2: Explorative Datenanalyse (EDA)

Bei der explorativen Datenanalyse (EDA) wird der Datensatz untersucht, um seine Struktur und die Beziehungen zwischen verschiedenen Variablen zu verstehen. Dieser Schritt hilft dabei, Muster, Trends oder Anomalien in den Daten zu erkennen.

Übersicht über den Datensatz

Wir beginnen damit, die ersten Zeilen des Datensatzes anzuzeigen und eine Zusammenfassung der Statistiken zu erhalten. Dies gibt uns eine Vorstellung von den Datentypen, dem Wertebereich und dem Vorhandensein fehlender Werte.

# Display the first few rows
print(titanic.head())

# Summary statistics
print(titanic.describe(include='all'))

Schritt 3: Datenbereinigung

Datenbereinigung ist der Prozess der Behandlung fehlender Werte, der Korrektur von Datentypen und der Beseitigung etwaiger Inkonsistenzen. Im Titanic-Datensatz fehlen Werte für Merkmale wie „Alter“, „Kabine“ und „Eingeschifft“.

Umgang mit fehlenden Werten

Um mit fehlenden Werten umzugehen, können wir sie mit entsprechenden Werten füllen oder Zeilen/Spalten mit fehlenden Daten löschen. Beispielsweise können wir fehlende Alterswerte mit dem Durchschnittsalter füllen und Zeilen mit fehlenden Einschiffungswerten löschen.

# Fill missing age values with the mode
titanic['Age'].fillna(titanic['Age'].mode(), inplace=True)

# Drop rows with missing 'Embarked' values
titanic.dropna(subset=['Embarked'], inplace=True)

# Check remaining missing values
print(titanic.isnull().sum())

Schritt 4: Feature Engineering

Beim Feature-Engineering geht es darum, bestehende zu transformieren, um die Modellleistung zu verbessern. Dieser Schritt kann die Kodierung kategorialer Variablen zur Skalierung numerischer Merkmale umfassen.

Kategoriale Variablen kodieren

Maschinelle Lernalgorithmen erfordern eine numerische Eingabe, daher müssen wir kategoriale Merkmale in numerische umwandeln. Wir können One-Hot-Codierung für Funktionen wie Sex und Embarked verwenden.

# Convert categorical features to numerical
from sklearn import preprocessing
le = preprocessing.LabelEncoder()

#fit the required column to be transformed
le.fit(df['Sex'])
df['Sex'] = le.transform(df['Sex'])

Fazit

Die Vorverarbeitung ist ein entscheidender Schritt in jedem Data-Science-Projekt. In diesem Blogbeitrag haben wir die wesentlichen Schritte des Ladens von Daten, der Durchführung einer explorativen Datenanalyse, der Bereinigung der Daten und der Feature-Entwicklung behandelt. Diese Schritte tragen dazu bei, dass unsere Daten für die Analyse oder Modellbildung bereit sind. Der nächste Schritt besteht darin, diese vorverarbeiteten Daten zu verwenden, um Vorhersagemodelle zu erstellen und deren Leistung zu bewerten. Für weitere Einblicke werfen Sie einen Blick in mein Colab-Notizbuch

Durch das Befolgen dieser Schritte können Anfänger eine solide Grundlage in der Datenvorverarbeitung erwerben und so die Voraussetzungen für fortgeschrittenere Datenanalyse- und maschinelle Lernaufgaben schaffen. Viel Spaß beim Codieren!

Das obige ist der detaillierte Inhalt vonSo verarbeiten Sie Ihren Datensatz vor. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!