Wie kann ich mehrere CSV-Dateien effizient in einem einzigen Pandas-DataFrame kombinieren?

Mehrere CSV-Dateien lesen und in einem einzigen Datenrahmen kombinieren

Problemszenario

Die Aufgabe besteht darin, mehrere CSV-Dateien aus einem Verzeichnis in Pandas einzulesen und Kombinieren Sie sie in einem DataFrame.

Pandas-Methoden

Pandas bietet intuitive Methoden zum Verketten mehrerer Datenrahmen:

• pd.concat(dfs,ignore_index=True): Verkettet Datenrahmen vertikal und ignoriert den ursprünglichen Index.

Implementierung

Um das gewünschte Ergebnis zu erzielen, wird jede CSV-Datei in einen Datenrahmen eingelesen. Anschließend wird die Concat-Methode verwendet, um diese einzelnen Datenrahmen zu einem einzigen umfassenden Datenrahmen zu verketten.

Code-Snippet:

import glob
import pandas as pd

path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename, header=0))

big_frame = pd.concat(dfs, ignore_index=True)

print(big_frame)

Zusätzliche Hinweise

• Stellen Sie sicher, dass alle CSV-Dateien dieselben Spalten haben, da Concat eine einheitliche Spalte erfordert Struktur.
• Erwägen Sie das Hinzufügen einer Spalte, um jede Datenquelle zu Zwecken der Rückverfolgbarkeit zu identifizieren.
• Verwenden Sie pathlib für erweiterte Funktionen zur Dateiverarbeitung.

Das obige ist der detaillierte Inhalt vonWie kann ich mehrere CSV-Dateien effizient in einem einzigen Pandas-DataFrame kombinieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!