Wie kann ich große DataFrames in Pandas effektiv verarbeiten, um Speicherfehler zu vermeiden?

Pandas – Große DataFrames in Stücke schneiden

Die Arbeit mit großen DataFrames kann schwierig sein, insbesondere wenn sie durch Funktionen geleitet werden. Bei der Arbeit mit großen DataFrames können Speicherfehler auftreten, und das Aufteilen in kleinere Blöcke kann helfen, dieses Problem zu lindern.

So schneiden Sie einen DataFrame in kleinere Blöcke auf:

1. Listenverständnis : Nutzen Sie das Listenverständnis, um eine Liste kleinerer DataFrames zu erstellen.

<code class="python">n = 200000  # chunk row size
list_df = [df[i:i+n] for i in range(0, df.shape[0], n)]</code>

2. Numpy array_split: Nutzen Sie die array_split-Funktion von Numpy, um den DataFrame zu teilen.

<code class="python">list_df = np.array_split(df, math.ceil(len(df)/n))</code>

Um auf die Blöcke zuzugreifen, indizieren Sie einfach die Liste:

<code class="python">list_df[0]
list_df[1]
etc...</code>

Durch Aufteilen des DataFrame nach AcctName:

<code class="python">list_df = []

for n, g in df.groupby('AcctName'):
    list_df.append(g)</code>

Sobald der DataFrame geteilt ist In Stücke zerlegt, kann es durch eine Funktion geleitet und dann mit pd.concat.

wieder zu einem einzelnen DataFrame zusammengesetzt werden

Das obige ist der detaillierte Inhalt vonWie kann ich große DataFrames in Pandas effektiv verarbeiten, um Speicherfehler zu vermeiden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!