Hier sind einige Titeloptionen, die jeweils einen anderen Aspekt der Lösung hervorheben: Konzentration auf das Problem: * Wie verarbeite ich große Pandas-DataFrames ohne Speicherfehler? * Speicherfehler in Pandas:

Slicing Large Pandas Dataframes

Problem:

Versuche, einen großen Datenrahmen durch einen zu leiten Die Funktion führt zu einem Speicherfehler, was darauf hindeutet, dass die Datenrahmengröße zu groß ist. Das Ziel besteht darin:

1. Den Datenrahmen in kleinere Segmente aufzuteilen.
2. Durch kleinere Teile innerhalb der Funktion zu iterieren.
3. Die verarbeiteten Segmente in einem einzigen Datenrahmen zu konsolidieren.

Lösung:

Aufteilen nach Zeilenanzahl

Das Aufteilen nach einer festen Zeilenanzahl kann mithilfe einer Liste erfolgen comprehension oder array_split von numpy:

<code class="python">n = 200000  # Chunk row size
list_df = [df[i:i + n] for i in range(0, df.shape[0], n)]</code>

<code class="python">list_df = np.array_split(df, math.ceil(len(df) / n))</code>

Slicing nach AcctName

Um nach einem bestimmten Spaltenwert zu segmentieren, z. B. AcctName:

<code class="python">list_df = []

for n, g in df.groupby('AcctName'):
    list_df.append(g)</code>

Konsolidierung

Sobald der große Datenrahmen zerlegt wurde, kann er mit pd.concat wieder zusammengesetzt werden:

<code class="python">consolidated_df = pd.concat(list_df)</code>

Das obige ist der detaillierte Inhalt vonHier sind einige Titeloptionen, die jeweils einen anderen Aspekt der Lösung hervorheben: Konzentration auf das Problem: * Wie verarbeite ich große Pandas-DataFrames ohne Speicherfehler? * Speicherfehler in Pandas:. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!