如何在Python中将NumPy数组映射到共享内存区域？-Python教程-PHP中文网

不能直接用np.array()创建共享内存数组，因为它总会拷贝数据而非共享；必须用np.ndarray(shape,dtype,buffer=shm.buf)手动绑定，且需确保buffer长度足够、显式指定dtype和shape，并注意shm.buf引用生命周期。

如何在python中将numpy数组映射到共享内存区域？

为什么不能直接用 `np.array()` 创建共享内存数组

因为 np.array() 总是分配私有堆内存，即使你传入一个指向共享内存的 buffer（比如 mmap 对象），它也会拷贝数据——这完全违背共享初衷。真正共享的前提是：多个进程看到的是同一块物理内存页，且 NumPy 数组的 data 指针必须直接指向它，不能中转、不能拷贝。

用 `numpy.ndarray()` 构造器 + `buffer` 参数手动绑定

这是最可控的方式，适用于已存在的共享内存对象（如 mmap.mmap 或 shared_memory.SharedMemory）。关键点在于跳过 NumPy 的默认内存管理，强制它把底层 buffer 当作自己的 data 区域。

确保 buffer 长度 ≥ dtype.itemsize * size，否则构造时会静默截断或触发 ValueError: buffer is too small
必须显式指定 dtype 和 shape，NumPy 不会从 buffer 推断这些信息
如果 buffer 来自 shared_memory.SharedMemory，需用其 buf 属性（memoryview 类型），而非直接传 shm 实例

<pre class="brush:php;toolbar:false;">import numpy as np
from multiprocessing import shared_memory
import mmap
<h1>创建共享内存（1MB）</h1><p>shm = shared_memory.SharedMemory(create=True, size=1024*1024)</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/gongju/2506" title="Python 3.14.2"><img
														src="https://img.php.cn/upload/manual/001/221/864/6a696c31dfa4a111.webp" alt="Python 3.14.2" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/gongju/2506" title="Python 3.14.2" class="overflowclass">Python 3.14.2</a>
													<p class="overflowclass">Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本，属于3.14系列的第二个维护更新。该版本包含了18项修复，重点解决了多进程、数据类及正则表达式等模块的回归问题，并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式（移除GIL）正式获得官方支持，是Python发展的重要里程碑。</p>
												</div>
												<a rel="nofollow" href="/xiazai/gongju/2506" title="Python 3.14.2" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div><h1>绑定为 float64 数组，形状 (1000,)</h1><p>arr = np.ndarray(shape=(1000,), dtype=np.float64, buffer=shm.buf)
arr[:] = np.linspace(0, 1, 1000)  # 写入数据</p><h1>其他进程可同样用 shm.name + shape/dtype 重建该数组</h1>

用 `shared_memory.SharedMemory`

时的常见陷阱

Python 3.8+ 的 shared_memory 模块封装了 POSIX shm_open 或 Windows CreateFileMapping，但它返回的对象本身不是 buffer，不能直接喂给 np.ndarray()。

错误写法：np.ndarray(..., buffer=shm) → 报 TypeError: buffer object does not have required buffer interface
正确做法：始终用 shm.buf，它是 memoryview，满足 buffer protocol
注意生命周期：只要还有 np.ndarray 持有 shm.buf 的引用，就不能调用 shm.close() 或 shm.unlink()，否则数组访问会 segfault
跨平台差异：Windows 上 shm.size 可能不准确（尤其小尺寸），建议用 len(shm.buf) 获取真实可用字节数

替代方案：`memmap` 适合文件-backed 共享

如果共享场景允许落盘（即通过文件交换数据），np.memmap 更简单、更健壮，且自动处理 dtype/shape/offset 对齐。

它本质是 mmap.mmap + NumPy 封装，支持读写、偏移、多进程并发（需自行加锁）
不依赖 shared_memory 模块，兼容 Python 3.6+
但注意：文件路径必须所有进程都可达；删除文件不等于释放内存，需显式 del arr 或 arr._mmap.close()

<code># 进程 A
arr = np.memmap('/tmp/shared.dat', dtype='float32', mode='w+', shape=(10000,))
arr[:] = np.random.rand(10000)
<h1>进程 B（同一路径、相同 dtype/shape）</h1>
<p>arr2 = np.memmap('/tmp/shared.dat', dtype='float32', mode='r', shape=(10000,))
print(arr2[0])  # 读到进程 A 写的值</p></code>

共享内存映射不是“创建完就能用”，核心在于 buffer 生命周期与 NumPy 数组生命周期的严格对齐——稍有错位，就是段错误或静默数据损坏。