为什么生产环境Python服务会发生内存泄漏以及如何配置监控?

胖婷大大_9880

胖婷大大_9880

2026-09-07

515人浏览

原创

python生产环境内存泄漏主因是代码或库绕过gc,需早期调用tracemalloc.start(25)、主线程采样、信号捕获快照;gc.debug_leak仅对特定循环引用有效,禁长期开启;须结合gc.get_count()与/proc/pid/status交叉分析。

为什么生产环境python服务会发生内存泄漏以及如何配置监控?

Python 服务在生产环境发生内存泄漏,不是 GC 失效了,而是你写的代码或用的库绕过了 GC 的回收条件。它不会报错,但 VmRSS 会持续上涨,直到被 OOM Killer 杀掉。

tracemalloc.start() 必须在进程启动最早期调用

很多团队把 tracemalloc.start() 放在 Web 框架初始化之后、甚至请求处理逻辑里 —— 这等于没开。它只能捕获开启后新分配的内存,早期加载的模块、全局对象、框架启动时创建的单例全都不在视野内。

  • 必须在 if __name__ == "__main__": 或主模块导入的最顶端执行,早于任何第三方库初始化
  • 推荐加参数:tracemalloc.start(25),25 是调用栈深度,设太小(如 10)会丢失关键上下文,设太大(如 50)会让内存开销翻倍
  • 避免在子线程中调用 take_snapshot(),不同线程快照不兼容;所有快照应在主线程采集
  • 不要依赖 atexit 自动输出 —— OOM 崩溃时 Python 解释器可能来不及触发注册函数,改用信号捕获:signal.signal(signal.SIGUSR1, lambda s, f: print(...)),手动触发快照

gc.set_debug(gc.DEBUG_LEAK) 只对循环引用有效,别误用成万能开关

gc.DEBUG_LEAK 的本质是打开 GC 调试日志 + 把无法回收的对象塞进 gc.garbage 列表。但它只对“不可达但有 __del__”或“跨代未被扫描到”的循环引用起作用,对全局字典缓存、闭包持有、C 扩展 malloc 的内存完全无感。

提示词大师-python版
提示词大师-python版

图片提示词生成器?不止如此。 马甲系统 —— 把脑海中的画面,翻译成AI能理解的专业表达。 用得越多,它越懂你:首次需要多问几句确认方向,用久了几乎一说就懂。 用得越多,它越快:缓存机制让后续对话越来越省。 RAG进化:成功案例持续入库,越跑越聪明。 输入「新手指南」查看完整功能介绍

下载
  • 启用后会显著拖慢 GC 速度,**禁止在高并发线上环境长期开启**,仅用于复现阶段的短时诊断
  • 如果 gc.collect() 返回 0 且 gc.garbage 为空,不代表没泄漏 —— 更可能是泄漏源根本不在 GC 管理范围内(比如 NumPy 数组底层内存)
  • 查 gc.garbage 里的对象时,别只看类型,用 gc.get_referrers(obj) 往上翻 2–3 层,重点找 dict、list、模块级变量名(如 cache、_pool、handlers)

监控不能只看 RSS,要交叉验证 gc.get_count() 和 /proc/[pid]/status

单纯轮询 psutil.Process().memory_info().rss 容易误判:pymalloc 内存池碎片、mmap 分配的大块内存、甚至 GPU 显存(torch)都会计入 RSS,但和 Python 对象无关。真问题往往藏在 GC 代计数和内核态内存映射里。

  • 每 30 秒采集一次:gc.get_count() —— 如果第 0 代长期 ≥ 650,且 gc.collect(0) 几乎不回收,说明对象生成速度远超 GC 频率,大概率是高频创建短命对象(如日志字符串、临时列表)
  • 同步读取 /proc/[pid]/status 中的 VmRSS 和 VmData:若 VmRSS 涨但 VmData 不涨,问题在 Python 堆;若两者齐涨,可能是 C 扩展或 mmap 泄漏
  • 用 cat /proc/[pid]/maps | awk '$6 ~ /heap|anon/ {sum += $2} END {print sum}' 粗略估算匿名内存增长,排除文件映射干扰

最常被忽略的一点:tracemalloc 的 statistics('lineno') 输出里,同一行可能对应多个分配点 —— 它按源码位置聚合,但实际可能来自不同分支、不同参数组合。定位到行后,必须结合业务逻辑判断是否真泄漏,还是合理缓存。别看到 data = [i for i in range(10000)] 就删,先确认它是不是本该存在的中间结果。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1611

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3924

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1629

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

22577

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2767

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2807

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1123

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2183

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程