如何在Python中使用multiprocessing.shared_memory共享数组

冬杰姑娘_5115

冬杰姑娘_5115

2026-10-24

597人浏览

原创

shared_memory.sharedmemory创建后不会自动释放,必须由创建者显式调用close()断开连接、unlink()销毁系统资源,否则残留导致fileexistserror或内存泄漏。

如何在python中使用multiprocessing.shared_memory共享数组

shared_memory.SharedMemory 创建后必须手动释放

Python 3.8+ 的 shared_memory 模块不是“即用即走”的封装,SharedMemory 实例创建后会占用系统共享内存段(Linux/macOS 下是 /dev/shm 中的文件,Windows 下是命名内存映射对象),**不显式调用 close() 和 unlink() 就不会释放**。常见错误是进程退出前忘记 unlink(),导致残留段堆积,下次运行时可能报 FileExistsError: [Errno 17] File exists。

实操建议:

  • unlink() 只能由创建者(即调用 SharedMemory(create=True) 的进程)调用,其他进程只能 close()
  • 推荐用 try/finally 或上下文管理器(但注意:原生 SharedMemory 不支持 with,需自行包装)
  • 示例释放逻辑:
    shm = SharedMemory(create=True, size=1024)
    try:
        # 使用 shm.buf
        pass
    finally:
        shm.close()
        if hasattr(shm, '_name') and shm._name:  # 确保是创建者
            shm.unlink()

用 numpy.ndarray 绑定 shared_memory 的 buf 需对齐 dtype 和 shape

共享内存本身只是字节缓冲区(shm.buf),要当数组用,必须用 numpy.ndarray 以指定 dtype、shape 和 strides 重新解释这块内存。**最常踩的坑是 shape/dtype 不匹配导致读写越界或数据错乱**。

关键点:

  • dtype 必须是 numpy 的固定大小类型(如 np.float64、np.int32),不能用 object 或可变长字符串
  • shape 计算出的总字节数不能超过 shm.size;例如 shape=(1000,), dtype=np.float64 需要 1000 * 8 = 8000 字节
  • 绑定方式必须用 np.ndarray(shape, dtype=dtype, buffer=shm.buf),不能用 np.array(..., copy=False) —— 后者会复制,不共享
  • 多维数组要小心 C/Fortran order,默认 C-order,strides 由 shape 和 dtype 自动推导,一般无需手设

子进程访问同一 shared_memory 需传入 name 而非对象

multiprocessing 的子进程无法直接继承父进程的 SharedMemory 对象(对象本身不序列化),**必须把 shm.name 作为参数传给子进程,再在子进程中用该 name 重新 attach**。传错 name 或拼写错误会导致 FileNotFoundError。

Secure Python Code Sandbox
Secure Python Code Sandbox

安全 Python 代码沙箱:在隔离的沙箱中执行任意 Python 代码,预装 requests、NumPy、pandas 库。返回 stdout、stderr。

下载

典型协作模式:

  • 主进程创建:shm = SharedMemory(create=True, size=...),记录 shm.name
  • 启动子进程时,把 shm.name 和必要元信息(如 shape, dtype)一起传入
  • 子进程中:shm_child = SharedMemory(name=received_name),再用同样 shape/dtype 构造 ndarray
  • 所有进程结束后,仅创建者调用 shm.unlink()

注意:Windows 下 name 区分大小写,Linux/macOS 下不区分,但统一用小写更稳妥。

shared_memory 不提供同步机制,数组读写需额外加锁

shared_memory 只负责内存共享,**不包含任何原子操作或锁**。多个进程同时写同一数组区域会引发竞态条件,结果不可预测(比如两个进程同时执行 a[0] += 1,可能只生效一次)。

解决方案有限且需谨慎:

  • 用 multiprocessing.Lock 或 mp.Semaphore 控制临界区,但锁对象本身不能跨进程共享,需在主进程创建后传入子进程
  • 避免频繁细粒度更新;尽量设计成“主进程写 + 子进程只读”,或按索引分区(如进程 i 只写 a[i::n])
  • 不要依赖 numpy 的 ufunc(如 np.add.at)实现线程安全——它在共享内存上同样不安全
  • 如果需要强一致性,考虑改用 multiprocessing.Array(底层带锁)或消息队列,而不是硬扛 shared_memory

真正麻烦的地方不在创建和绑定,而在于生命周期管理和并发控制——name 忘记传、unlink 忘记调、锁没加对,任何一个都会让程序间歇性崩溃或静默出错。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1791

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4704

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1749

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

27937

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3367

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3367

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1203

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

616

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2623

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习