为什么Python在循环中打开大量文件会导致FD耗尽

小芳同学_5455

小芳同学_5455

2026-10-31

743人浏览

原创

循环中open()不close()会触发OSError: [Errno 24] Too many open files,因为每次open()都申请一个文件描述符(fd),Python不自动回收,Linux单进程默认上限1024,超限即报错;with语句虽能自动关闭,但在未捕获异常链中新开文件、全局缓存文件对象、多线程/进程继承fd未清理等三种情况下仍会泄漏。

为什么python在循环中打开大量文件会导致fd耗尽

为什么循环中 open() 不 close() 就会爆 OSError: [Errno 24] Too many open files

因为每次 open() 都会向操作系统申请一个文件描述符(fd),而 Python 默认不自动回收——哪怕文件对象被变量覆盖或函数退出,只要没显式调用 close() 或离开 with 作用域,fd 就一直被进程持有。Linux 单进程默认上限是 1024,循环打开 1025 个文件就直接触发错误。

with open() 真的能完全避免 fd 泄漏吗?

绝大多数情况下可以,但有三个典型例外:

  • 在 with 块内抛出未捕获异常,且异常处理逻辑里又打开了新文件(比如日志写入),而该日志文件本身也用 with 打开——这时旧 with 还没走到 __exit__,新 with 又申请 fd,容易在异常链中累积
  • 把 open() 返回的文件对象赋值给了全局变量或缓存字典(如日志模块里的 _logger_cache),后续没清理,with 的自动关闭就失效了
  • 在多线程或多进程中,子线程/子进程继承了父进程所有已打开的 fd;若主线程用了 with 关闭,但子线程还拿着引用(比如传了 file object 进去),fd 依然被占用

如何快速定位是哪个环节在漏 fd?

别猜,直接看进程当前打开的 fd 数量和来源:

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
  • 查总数:lsof -p | wc -l 或 ls /proc//fd | wc -l
  • 查类型分布:lsof -p | awk '{print $5}' | sort | uniq -c | sort -nr,重点关注 REG(普通文件)、IPv4(网络连接)、PIPE(管道)
  • 查大头路径:lsof -p | grep -E '\.log|\.tmp|\.csv' | head -20,常能一眼看到重复打开的日志或临时文件
  • Python 内部检查:import resource; resource.getrlimit(resource.RLIMIT_NOFILE) 看当前软硬限制,len(os.listdir('/proc/self/fd')) 看实际已用数

tempfile.mkstemp 为什么比 NamedTemporaryFile 更容易踩坑?

因为 tempfile.mkstemp() 返回的是一个裸 fd 和路径字符串,它**不返回文件对象**,也不帮你管理生命周期:

  • 你必须手动调用 os.close(fd),否则 fd 永远不释放
  • 即使你用 os.fdopen(fd, 'w') 包装成文件对象,也得确保这个对象最终被 close() ——而 fdopen 创建的对象**不支持上下文管理协议**(即不能用 with)
  • 如果在多进程场景下 fork,子进程会继承这个 fd,若父子都没关,一个 fd 被算两次占用
  • 对比 NamedTemporaryFile(delete=False):它返回的是标准文件对象,支持 with,且 close() 后 fd 立即释放(只是文件没删)

真正危险的不是“打开太多”,而是“以为关了,其实没关”——尤其当 fd 来自底层系统调用、跨进程传递或混用 os.fdopen 时,很容易在调用栈深处悄悄积累。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1851

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4984

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1789

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

29917

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3567

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3587

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1223

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

616

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2763

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习