Python中如何检测并预防由于循环引用导致的内存泄露异常?

老磊吖_3485

老磊吖_3485

2026-06-28

450人浏览

原创

循环引用本身不会导致内存泄露,只有与__del__、weakref回调或某些c扩展共存时gc才会放弃回收;应使用gc.get_referrers()定位持有对象的引用源,而非gc.get_referents()。

python中如何检测并预防由于循环引用导致的内存泄露异常?

循环引用本身不会导致内存泄露——只有当它和 __del__、weakref 回调或某些 C 扩展(如旧版 numpy view)共存时,GC 才会放弃回收,真正引发泄露。

用 gc.get_referrers() 定位“谁在偷偷留着对象”

别从被引用对象出发查 gc.get_referents(),那只会看到它指向了谁;真正卡住内存的是“谁还拿着它”。gc.get_referrers(obj) 才是关键入口。

  • 先复现疑似泄露场景(比如反复创建某类实例后不释放),再手动触发 gc.collect()
  • 用 gc.get_objects(type=MyClass) 拿到残留实例,挑一个 obj 开始查
  • 重点关注返回结果里的:dict(尤其是模块级、类 __dict__)、list、tuple、函数的 __closure__、以及 module 本身
  • 如果看到 @lru_cache 装饰的函数出现在 referrers 里,检查是否缓存了带状态的实例——这是高频陷阱

警惕 __del__ 和弱引用回调联手“封印”GC

只要循环中任意一个对象定义了 __del__,整个环就进 gc.garbage,不再被自动清理。更隐蔽的是:你没写 __del__,但用了 weakref.ref(obj, callback),而 callback 是闭包,隐式持有了 obj 或其属性,又形成新强引用链。

Li Python Sec Check
Li Python Sec Check

Python 安全规范检查工具:基于 CloudBase 规范、腾讯安全指南,LLM 智能分析(默认禁用,优先本地执行)

下载
  • 快速验证:临时注释掉所有 def __del__(self):,再测内存是否回落
  • 避免在 __del__ 中访问日志器、全局字典等可能已被销毁的对象,否则异常会中断 GC 流程
  • 优先用 weakref.finalize(obj, func) 替代手动管理 weakref.ref + 回调,它不闭包捕获对象,更安全
  • 检查第三方库(如 requests.adapters.HTTPAdapter)是否内部用了弱引用 + 回调,升级到 2.30+ 版本通常已修复

用 objgraph 可视化强引用路径,一眼揪出断点

objgraph 不是标准库,但它能生成 PNG 引用图,直接标出从根(如 module)到目标对象的最短强引用路径——比手动一层层 get_referrers() 高效得多。

  • 安装:pip install objgraph
  • 常用命令:objgraph.show_backrefs([obj], max_depth=5, filename='ref.png')
  • 图中实线代表强引用,虚线是弱引用;重点看哪条实线本该在对象生命周期结束时断开却一直挂着
  • 特别注意 functools._lru_cache_wrapper、threading.local、logging.Logger 这些常作为“意外根节点”出现

真正难处理的不是循环结构本身,而是那些看似无害、实则把循环对象钉死在内存里的“弱引用回调”或“装饰器缓存”。一旦发现 gc.garbage 非空,优先查 __del__ 和 weakref 使用点,比盲目破环更省时间。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1651

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4064

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1649

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

23497

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2887

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2907

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1143

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2263

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程