怎样在Python中用共享内存实现跨进程传递NumPy数组-Python教程-PHP中文网

不能直接用 multiprocessing.queue 传大 numpy 数组，因为其依赖 pickle 序列化会导致完整内存拷贝和高开销；应改用 multiprocessing.shared_memory 实现零拷贝共享，但需手动同步 dtype、shape 等元信息，并严格管理生命周期与字节序。

怎样在python中用共享内存实现跨进程传递numpy数组

为什么不能直接用 multiprocessing.Queue 传大 NumPy 数组

因为 Queue 底层靠 pickle 序列化，大数组会触发完整内存拷贝 + 序列化开销，实测 500MB 数组传输耗时可能超 2 秒，且内存峰值翻倍。这不是“慢一点”，而是根本不可扩展。

真正要的是零拷贝共享：子进程直接读写同一块物理内存页。Python 3.8+ 的 multiprocessing.shared_memory 模块就是为此设计的，但 NumPy 需要手动桥接。

关键限制：shared_memory.SharedMemory 只管分配裸字节缓冲区，不理解 NumPy 的 dtype、shape、strides —— 必须自己把数组元信息同步过去。

如何创建并映射共享内存给 NumPy 数组

核心是两步：先用 SharedMemory 分配缓冲区，再用 np.ndarray 构造函数把这块缓冲区“解释”成带 shape/dtype 的数组。

主进程创建共享内存：shm = SharedMemory(create=True, size=arr.nbytes)，注意 size 必须等于 arr.nbytes（不是 arr.size）
用 np.ndarray 绑定缓冲区：shared_arr = np.ndarray(arr.shape, dtype=arr.dtype, buffer=shm.buf)
必须立刻复制数据：shared_arr[:] = arr[:]（切片赋值，避免重新分配）
子进程中需用相同 name 附加：shm = SharedMemory(name="your_name")，再同样构造 ndarray

示例片段：

Shadows Python Sensei

Python 最佳实践助手——代码规范、设计模式、性能优化、测试与类型注解。适用于编写或审查 Python 代码。

下载

from multiprocessing import shared_memory
import numpy as np
<h1>主进程</h1><p>arr = np.random.random((1000, 1000)).astype(np.float32)
shm = shared_memory.SharedMemory(create=True, size=arr.nbytes)
shared_arr = np.ndarray(arr.shape, dtype=arr.dtype, buffer=shm.buf)
shared_arr[:] = arr[:]  # 触发实际拷贝</p><h1>子进程里（收到 shm.name 后）</h1><p>shm_child = shared_memory.SharedMemory(name=shm.name)
arr_child = np.ndarray(arr.shape, dtype=arr.dtype, buffer=shm_child.buf)</p><h1>此时 arr_child 和 shared_arr 共享底层内存</h1>