Bagaimana untuk Berkongsi Data Baca Sahaja yang Besar dengan Cekap dalam Pemprosesan Berbilang Python?

Mengekalkan Data Baca Sahaja Dikongsi dalam Berbilang pemprosesan

Soalan:

Dalam persekitaran berbilang pemprosesan Python, bagaimana untuk memastikan tatasusunan baca sahaja yang bersaiz besar (cth., 3 Gb) dikongsi antara berbilang proses tanpa membuat salinan?

Jawapan:

Menggunakan keupayaan memori kongsi yang disediakan oleh modul berbilang pemprosesan bersama NumPy membolehkan perkongsian data yang cekap antara proses.

<code class="python">import multiprocessing
import ctypes
import numpy as np

shared_array_base = multiprocessing.Array(ctypes.c_double, 10*10)
shared_array = np.ctypeslib.as_array(shared_array_base.get_obj())
shared_array = shared_array.reshape(10, 10)</code>

Pendekatan ini memanfaatkan fakta bahawa Linux menggunakan semantik salin atas tulis untuk fork(), memastikan data hanya diduplikasi apabila diubahsuai. Akibatnya, walaupun tanpa menggunakan pemproses berbilang secara eksplisit. Tatasusunan, data dikongsi secara berkesan antara proses melainkan diubah.

<code class="python"># Parallel processing
def my_func(i, def_param=shared_array):
    shared_array[i,:] = i

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=4)
    pool.map(my_func, range(10))

    print(shared_array)</code>

Kod ini secara serentak mengubah suai tatasusunan yang dikongsi dan menunjukkan perkongsian data yang berjaya antara berbilang proses:

[[ 0.  0.  0.  0.  0.  0.  0.  0.  0.  0.]
 [ 1.  1.  1.  1.  1.  1.  1.  1.  1.  1.]
 [ 2.  2.  2.  2.  2.  2.  2.  2.  2.  2.]
 [ 3.  3.  3.  3.  3.  3.  3.  3.  3.  3.]
 [ 4.  4.  4.  4.  4.  4.  4.  4.  4.  4.]
 [ 5.  5.  5.  5.  5.  5.  5.  5.  5.  5.]
 [ 6.  6.  6.  6.  6.  6.  6.  6.  6.  6.]
 [ 7.  7.  7.  7.  7.  7.  7.  7.  7.  7.]
 [ 8.  8.  8.  8.  8.  8.  8.  8.  8.  8.]
 [ 9.  9.  9.  9.  9.  9.  9.  9.  9.  9.]]

Dengan memanfaatkan memori yang dikongsi dan semantik salin atas-tulis, pendekatan ini menyediakan penyelesaian yang cekap untuk berkongsi sejumlah besar data baca sahaja antara proses dalam persekitaran berbilang pemprosesan.

Atas ialah kandungan terperinci Bagaimana untuk Berkongsi Data Baca Sahaja yang Besar dengan Cekap dalam Pemprosesan Berbilang Python?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!