Bagaimanakah Saya Boleh Menggunakan Tatasusunan NumPy dengan Cekap dalam Memori Dikongsi untuk Multiprocessing?

Menggunakan Tatasusunan Numpy dalam Memori Dikongsi untuk Berbilang pemprosesan

Menggunakan memori dikongsi untuk tatasusunan numpy adalah perkara biasa dalam senario berbilang pemprosesan. Walau bagaimanapun, mengeksploitasi potensi penuh mereka sebagai tatasusunan numpy, bukannya tatasusunan ctypes semata-mata, boleh menjadi satu cabaran.

Penyelesaian terletak pada memanfaatkan mp.Array() daripada modul berbilang pemprosesan. Fungsi ini membolehkan penciptaan tatasusunan dikongsi yang boleh diakses oleh berbilang proses serentak. Untuk mengakses tatasusunan ini sebagai tatasusunan numpy, anda boleh menggunakan numpy.frombuffer(), tanpa menanggung sebarang overhed penyalinan data.

Contoh:

import multiprocessing as mp
import numpy as np

def f(shared_arr):
    arr = np.frombuffer(shared_arr.get_obj()) 
    arr[:] = -arr[:] 

if __name__ == '__main__':
    N = 10
    shared_arr = mp.Array(ctypes.c_double, N) 
    arr = np.frombuffer(shared_arr.get_obj()) 

    # Create, start, and finish child processes
    p = mp.Process(target=f, args=(shared_arr,)) 
    p.start() 
    p.join()

Dalam contoh ini , fungsi f() menggunakan tatasusunan yang dikongsi untuk melakukan penolakan dari segi unsur. Dengan mengakses tatasusunan sebagai tatasusunan numpy, anda mendapat akses kepada semua operasi dan kaedahnya yang berkuasa.

Penyegerakan:

Apabila berbilang proses mengakses tatasusunan dikongsi yang sama, penyegerakan adalah penting untuk mengelakkan konflik. mp.Array() menyediakan kaedah get_lock() yang membolehkan anda menyegerakkan akses mengikut keperluan.

# ...
def f(i): 
    with shared_arr.get_lock(): # synchronize access
        arr = np.frombuffer(shared_arr.get_obj()) 
        arr[i] = -arr[i] 

Menggunakan pendekatan ini, anda boleh berkongsi tatasusunan numpy dalam persekitaran berbilang pemprosesan sambil mengekalkan fungsi penuhnya sebagai tatasusunan numpy.

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Menggunakan Tatasusunan NumPy dengan Cekap dalam Memori Dikongsi untuk Multiprocessing?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!