如何在Python中利用__sizeof__精确计算自定义对象的内存开销?

P粉602998670

P粉602998670

2026-08-04

964人浏览

原创

如何在python中利用__sizeof__精确计算自定义对象的内存开销?

__sizeof__ 返回的只是对象本身的内存,不包括引用对象

直接调用 __sizeof__ 得到的数值,往往远小于你“感觉”该对象占的内存。比如一个包含 1000 个整数的列表,list.__sizeof__() 只返回列表结构体本身的开销(约 80 字节),不包含那 1000 个 int 对象各自占用的空间——它们是独立分配在堆上的,被列表引用,但不算在列表自身的 __sizeof__ 里。

这意味着:如果你只看 obj.__sizeof__(),对大多数复合对象(listdict、自定义类实例)来说,结果基本没实用价值。

  • 内置容器类型(listtupledict)的 __sizeof__ 通常只覆盖其内部指针数组和元数据,不递归计算元素
  • 自定义类实例的 __sizeof__ 默认继承自 object,返回的是实例字典(__dict__)和对象头的大小,不含属性值本身(如果值是小整数、短字符串等可能被缓存或内联,情况更复杂)
  • sys.getsizeof() 是更安全的起点,它会尝试调用对象的 __sizeof__ 并加上常见引用对象的估算(如 dict 的键值对),但仍非完全递归

想真正算清总内存,必须手动递归 + 排重

Python 没有内置的“深内存大小”函数,因为对象图可能存在循环引用、共享子对象(比如多个对象引用同一个 strtuple),盲目递归会重复计数或栈溢出。

可靠的做法是用 sys.getsizeof() 配合 gc.get_referents() 手动遍历,并用 id() 去重:

Python 3.14.2
Python 3.14.2

Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本,属于3.14系列的第二个维护更新。该版本包含了18项修复,重点解决了多进程、数据类及正则表达式等模块的回归问题,并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式(移除GIL)正式获得官方支持,是Python发展的重要里程碑。

下载
import sys
import gc
<p>def deep_sizeof(obj, seen=None):
if seen is None:
seen = set()
obj_id = id(obj)
if obj_id in seen:
return 0
seen.add(obj_id)
size = sys.getsizeof(obj)</p><h1>获取直接引用的对象(跳过字符串、小整数等不可变常量,避免误入全局池)</h1><pre class="brush:python;toolbar:false;">for referent in gc.get_referents(obj):
    if not isinstance(referent, (str, bytes, int, float, type(None), bool)):
        size += deep_sizeof(referent, seen)
return size
  • 这个函数不是万能的:它跳过了 strint 等常见不可变类型,因为它们可能被大量共享,计入会导致严重高估
  • 对含 __slots__ 的类,__dict__ 不存在,sys.getsizeof() 行为不同,需单独处理
  • 某些 C 扩展对象(如 numpy.ndarray)可能不响应 gc.get_referents(),得查其文档找专用方法(如 .nbytes

自定义类要精确控制,得重写 __sizeof__ 并明确语义

如果你真需要让自己的类支持 __sizeof__,别只返回 super().__sizeof__()。必须想清楚:你希望它反映什么?是“本实例结构体大小”,还是“本实例及其直接持有数据的总大小”?两者语义完全不同。

例如一个缓存类:

class Cache:
    def __init__(self):
        self._data = {}
        self._meta = []
<pre class="brush:python;toolbar:false;">def __sizeof__(self):
    # 只算自身结构 + dict/tuple 的容器开销(不递归内容)
    return super().__sizeof__() + sys.getsizeof(self._data) + sys.getsizeof(self._meta)
  • 这样写至少比默认值有用,但它依然不包含 self._data 里 key/value 占的内存
  • 如果业务真依赖“总内存上限”,建议暴露一个 estimated_memory_usage() 方法,内部调用上面提到的 deep_sizeof 并注明“含估算,不含共享对象”
  • 切记:重写 __sizeof__ 不会影响 sys.getsizeof() 的行为——后者会优先调用你的实现,但不会自动递归

实际调试时,优先用 memory_profiler 而非手算

手工实现 deep_sizeof 容易出错,且难以覆盖所有边缘情况(比如 weakref、closure、frame 对象)。真实场景下,更推荐用 memory_profiler 包做行级或函数级监控:

pip install memory-profiler
# 然后在脚本里加装饰器或行魔术
  • @profile 装饰器能显示每行内存增量,比静态大小更有诊断价值
  • memory_usage(-1) 可抓取当前进程整体内存,适合观察泄漏趋势
  • 它底层也用 gc.get_objects()sys.getsizeof(),但做了大量适配和过滤,比自己写的鲁棒得多

真正难的不是算单个对象,而是理解哪些对象不该被计入、哪些被反复引用、哪些生命周期异常——这些靠数字本身说不清,得结合引用链和业务逻辑判断。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1104

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

2025

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1184

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

8474

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

1429

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

1503

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

859

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

530

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1084

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PyCharm官方快速入门指南
PyCharm官方快速入门指南

共0课时 | 0人学习

Python函数定义官方教程
Python函数定义官方教程

共0课时 | 0人学习

Python 3.14.6官方文档
Python 3.14.6官方文档

共0课时 | 0人学习