Bagaimanakah Saya Boleh Membahagikan DataFrame Besar dengan Cekap kepada Subset yang Lebih Kecil Berdasarkan Pengecam Unik?

Memisahkan Bingkai Data Besar kepada Subset Yang Lebih Kecil Berdasarkan Lajur Pengecam Unik

Apabila bekerja dengan set data yang besar, adalah berfaedah untuk membahagikannya kepada subset yang lebih kecil dan boleh diurus untuk pemprosesan dan analisis yang lebih cekap. Artikel ini menangani tugas khusus untuk membahagikan bingkai data yang besar dengan berjuta-juta baris kepada berbilang bingkai data, satu untuk setiap kod unik yang diberikan kepada peserta.

Coretan kod yang disediakan cuba memisahkan bingkai data menggunakan gelung for untuk diulang melalui setiap baris dan semak sama ada kod peserta sepadan dengan kod yang diberikan pada masa ini. Walaupun pendekatan ini betul dari segi konsep, pelaksanaannya tidak cekap dan boleh menyebabkan masa jalan yang berlebihan untuk set data yang besar.

Sebaliknya, penyelesaian yang lebih cekap boleh dicapai melalui teknik manipulasi data. Dengan menggunakan fungsi unique() untuk mengenal pasti kod yang berbeza dan kemudian menggunakan kaedah penapis() untuk mengasingkan baris yang dikaitkan dengan setiap kod, kami boleh mencipta bingkai data berasingan dengan lancar.

Dalam kod yang dipertingkatkan di bawah, kamus dimulakan untuk menyimpan bingkai data yang terhasil, dengan setiap kod unik berfungsi sebagai kunci kamus. Kaedah penapis() digunakan untuk mengekstrak baris berdasarkan kod peserta, dan bingkai data yang terhasil dilampirkan pada kamus:

import pandas as pd
import numpy as np

# Create a dataframe with random data and a 'Names' column
data = pd.DataFrame({'Names': ['Joe', 'John', 'Jasper', 'Jez'] * 4, 'Ob1': np.random.rand(16), 'Ob2': np.random.rand(16)})

# Extract unique participant codes
participant_codes = data.Names.unique()

# Initialize a dictionary to store dataframes
participant_dataframes = {code: pd.DataFrame() for code in participant_codes}

# Iterate through unique codes and create dataframes for each participant
for code in participant_codes:
    participant_dataframes[code] = data[data.Names == code]

# Print dictionary keys to verify participant dataframes
print(participant_dataframes.keys())

Dengan menggunakan teknik manipulasi data dan bukannya gelung eksplisit, kod ini menyediakan lebih banyak penyelesaian yang cekap dan berskala untuk memisahkan bingkai data yang besar berdasarkan lajur pengecam unik.

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Membahagikan DataFrame Besar dengan Cekap kepada Subset yang Lebih Kecil Berdasarkan Pengecam Unik?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!