如何在Python中解决PyTorch在Windows平台上并行读取数据的权限报错?

云伟君_1537

云伟君_1537

2026-07-24

557人浏览

原创

windows上dataloader开num_workers>0报permissionerror的根本原因是其不支持fork,pytorch默认用spawn启动子进程,而未加if name == '__main__':保护会导致子进程重复执行脚本、资源抢占或路径解析失败。

如何在python中解决pytorch在windows平台上并行读取数据的权限报错?

为什么Windows上DataLoadernum_workers > 0会报PermissionError?

根本原因是Windows不支持fork方式创建子进程,PyTorch默认用spawn启动worker进程,而某些数据加载逻辑(比如打开文件、调用__getitem__里未加保护的全局资源)在子进程中会因路径解析失败或资源竞争触发PermissionError: [WinError 5] Access is denied。常见于使用h5pycv2.imread、或自定义Dataset中直接读取相对路径文件时。

必须设置if __name__ == '__main__':保护主模块入口

这是Windows下spawn机制的硬性要求,否则子进程会重复执行整个脚本,导致多次初始化、资源抢占甚至递归启动worker。没加这层保护是90%以上权限报错的根源。

  • 所有使用DataLoadernum_workers > 0的代码,必须包裹在if __name__ == '__main__':块内
  • 不要把DataLoader定义放在模块顶层(即缩进为0的位置)
  • 如果用Jupyter,num_workers=0是唯一安全选择——IPython无法满足spawn的入口约束

Dataset.__getitem__里避免依赖全局状态或未序列化对象

子进程无法继承父进程的文件句柄、OpenCV全局状态、h5py文件句柄等。一旦__getitem__里用了这些,就会在worker中触发权限/访问错误。

Python数据分析(免费版)
Python数据分析(免费版)

提供Python数据清洗、统计分析与可视化建议,覆盖业务报表与科研数据的快速处理流程。

下载
  • 不要在Dataset.__init__里打开并保存h5py.Filecv2.VideoCapture等句柄;应在__getitem__中每次打开、用完立刻.close()
  • 避免在__getitem__里调用os.chdir()、修改sys.path或操作全局logging配置
  • 路径一律用绝对路径:用os.path.abspath()pathlib.Path(__file__).parent拼接,别依赖当前工作目录

临时方案:关掉多进程但保留主线程预取

当问题一时无法定位,或调试阶段需要快速验证逻辑时,num_workers=0不是退步,而是最稳定的兜底方式。此时PyTorch仍会用主线程做数据预取(通过pin_memory=True和异步GPU搬运),多数小到中等规模训练不会明显卡顿。

  • num_workers=0后,务必确认pin_memory=True(尤其GPU训练)
  • 若仍慢,检查__getitem__是否做了耗时操作(如解码大图、解析XML)——这才是真正瓶颈,不是worker数的问题
  • Windows Subsystem for Linux(WSL2)可绕过此限制,但需完整重装PyTorch+cuDNN,实际成本往往高于重构数据加载逻辑

Windows上并行数据加载的坑不在配置参数,而在子进程能否干净地复现父进程的数据访问上下文。路径、句柄、全局状态,任何一个没处理好,都会在worker里变成Access Denied。别急着调num_workers,先确保__getitem__是纯函数式的。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1531

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3584

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1549

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

20437

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2547

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2587

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1063

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

576

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2003

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程