Bagaimanakah Saya Boleh Menggunakan Tatasusunan NumPy dengan Cekap dalam Memori Dikongsi untuk Multiprocessing dalam Python?

Penggunaan tatasusunan numpy dalam memori kongsi untuk pemproses berbilang

Menggunakan tatasusunan numpy dalam memori dikongsi adalah penting untuk tugasan berbilang pemprosesan yang cekap. Modul berbilang pemprosesan menyediakan cara yang mudah untuk mengagihkan beban kerja antara berbilang proses, tetapi mengendalikan tatasusunan numpy yang dikongsi merentas proses ini menimbulkan cabaran.

Dalam coretan kod yang disediakan, percubaan untuk berkongsi tatasusunan numpy menggunakan kelas berbilang pemprosesan.Array dibuat. Walaupun ini membenarkan akses kepada elemen tatasusunan individu, ia tidak menyokong operasi tatasusunan numpy sepenuhnya.

Untuk menangani perkara ini, pertimbangkan untuk menggunakan kaedah shared_arr.get_lock() untuk memastikan akses disegerakkan apabila perlu:

def f(i):
    with shared_arr.get_lock():
        arr = np.frombuffer(shared_arr.get_obj())
        arr[i] = -arr[i]

Kaedah ini memastikan hanya satu proses boleh mengubah suai tatasusunan dikongsi pada bila-bila masa, mengekalkan integriti data.

Pendekatan alternatif yang menghapuskan keperluan untuk penyegerakan eksplisit ialah:

def f(i):
    arr = np.frombuffer(shared_arr.get_obj())
    arr[i] = -arr[i]

Ini berfungsi kerana GIL (Global Interpreter Lock) Python menguatkuasakan thread tunggal untuk semua pelaksanaan kod bait Python, termasuk kod numpy. GIL memastikan bahawa hanya satu urutan pelaksanaan boleh mengakses memori dikongsi pada satu masa.

Akhir sekali, pertimbangkan untuk menggunakan kelas multiprocessing.sharedctypes.RawArray jika akses disegerakkan tidak diperlukan. RawArray tidak menyediakan sebarang mekanisme penyegerakan, menjadikannya sesuai untuk senario di mana mekanisme penguncian tersuai dilaksanakan.

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Menggunakan Tatasusunan NumPy dengan Cekap dalam Memori Dikongsi untuk Multiprocessing dalam Python?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!