Cara Memproses DataFrame Besar dengan Cekap dalam Panda: Potong!

Panda - Menghiris Bingkai Data Besar kepada Potongan

Apabila cuba memproses bingkai data bersaiz besar, halangan yang biasa ialah Ralat Memori yang digeruni. Satu penyelesaian yang berkesan ialah membahagikan kerangka data kepada bahagian yang lebih kecil dan boleh diurus. Strategi ini bukan sahaja mengurangkan penggunaan memori tetapi juga memudahkan pemprosesan yang cekap.

Untuk mencapainya, kita boleh memanfaatkan sama ada kefahaman senarai atau fungsi pembahagian_tatasusunan NumPy.

Pemahaman Senarai

<code class="python">n = 200000  # Chunk row size
list_df = [df[i:i+n] for i in range(0, df.shape[0], n)]</code>

Menghiris mengikut AcctName

<code class="python">list_df = np.array_split(df, math.ceil(len(df) / n))</code>

Untuk memisahkan bingkai data mengikut nilai AcctName, gunakan kaedah kumpulan mengikut:

Atas ialah kandungan terperinci Cara Memproses DataFrame Besar dengan Cekap dalam Panda: Potong!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!