如何在共享記憶體中高效使用 NumPy 數組進行多重處理？

在共享記憶體中使用 Numpy 數組進行多處理

將共享記憶體用於 numpy 數組在多處理場景中很常見。然而，充分利用它們作為 numpy 數組（而不僅僅是 ctypes 數組）的潛力可能是一個挑戰。

解決方案在於利用多處理模組中的 mp.Array() 。此函數允許建立可由多個進程同時存取的共享數組。要將這些陣列作為 numpy 數組訪問，您可以使用 numpy.frombuffer()，而不會產生任何資料複製開銷。

範例：

import multiprocessing as mp
import numpy as np

def f(shared_arr):
    arr = np.frombuffer(shared_arr.get_obj()) 
    arr[:] = -arr[:] 

if __name__ == '__main__':
    N = 10
    shared_arr = mp.Array(ctypes.c_double, N) 
    arr = np.frombuffer(shared_arr.get_obj()) 

    # Create, start, and finish child processes
    p = mp.Process(target=f, args=(shared_arr,)) 
    p.start() 
    p.join()

在此範例中，f() 函數使用共用陣列來執行逐元素求反。透過將數組作為 numpy 數組進行訪問，您可以訪問其所有強大的操作和方法。

同步：

當多個行程存取同一個共用陣列時，同步對於防止衝突至關重要。 mp.Array() 提供了 get_lock() 方法，讓您可以根據需要同步存取。

# ...
def f(i): 
    with shared_arr.get_lock(): # synchronize access
        arr = np.frombuffer(shared_arr.get_obj()) 
        arr[i] = -arr[i] 

利用這種方法，您可以在多處理環境中共享 numpy 數組，同時保持其作為 numpy 數組的完整功能。

以上是如何在共享記憶體中高效使用 NumPy 數組進行多重處理？的詳細內容。更多資訊請關注PHP中文網其他相關文章！