Comment puis-je gérer efficacement les grands DataFrames dans Pandas pour éviter les erreurs de mémoire ?

Pandas - Découpez un grand DataFrame en morceaux

Les grands DataFrames peuvent être difficiles à utiliser, en particulier lorsqu'ils sont transmis via des fonctions. Des erreurs de mémoire peuvent survenir lorsque vous travaillez avec des DataFrames volumineux, et les découper en morceaux plus petits peut aider à atténuer ce problème.

Pour découper un DataFrame en morceaux plus petits :

1. Compréhension de la liste : Utilisez la compréhension de liste pour créer une liste de DataFrames plus petits.

<code class="python">n = 200000  # chunk row size
list_df = [df[i:i+n] for i in range(0, df.shape[0], n)]</code>

2. Numpy array_split : Tirez parti de la fonction array_split de numpy pour diviser le DataFrame.

<code class="python">list_df = np.array_split(df, math.ceil(len(df)/n))</code>

Pour accéder aux morceaux, indexez simplement la liste :

<code class="python">list_df[0]
list_df[1]
etc...</code>

En divisant le DataFrame par AcctName :

<code class="python">list_df = []

for n, g in df.groupby('AcctName'):
    list_df.append(g)</code>

Une fois le DataFrame divisé en morceaux, il peut être transmis via une fonction puis réassemblé en un seul DataFrame à l'aide de pd.concat.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!