Python对象ID复用是否会影响Pickle序列化结果?

老瑶同学_2604

老瑶同学_2604

2026-01-15

161人浏览

原创

Python对象ID复用是否会影响Pickle序列化结果?

python中对象id会被复用,但pickle通过将对象本身存入memo字典来防止因id重复导致的序列化错误,因此长期使用同一pickler实例进行多次dump是安全的。

在使用 Python 的 pickle 模块进行序列化时,一个常见误解是:由于 id() 返回的整数可能被后续创建的对象复用(即“ID回收”),若长时间持有同一个 Pickler 实例并反复调用 .dump(obj),是否可能导致新对象因 ID 与之前已序列化的对象相同,而被错误地当作“已有引用”处理,从而写入错误的数据(如 INST 或 BINPUT 指令而非完整对象)?

答案是否定的——不存在此类风险。

pickle.Pickler 内部维护一个名为 memo 的字典(类型为 dict[int, tuple[int, object]]),其键为 id(obj),值为一个二元组 (index, obj),其中:

  • index 是该对象在 pickle 流中首次出现时的标记位置(用于后续引用);
  • obj 是对原对象的强引用,确保对象在 pickling 过程中不会被垃圾回收。

关键点在于:memo 字典不仅记录 ID,更直接持有对象引用。这意味着即使某个对象 A 被销毁、其 id(A) 后续被新对象 B 复用,只要 A 仍存在于 memo 中(即 pickling 尚未结束),B 的 id(B) == id(A) 也不会触发误匹配——因为 memo[id(B)] 对应的仍是 A,而 pickle 在写入前会显式比较 obj is memo_id_entry[1](即身份校验),而非仅依赖 ID。

Upstream Recon
Upstream Recon

在与开源项目(如提交PR、Issue或评论)互动前,先对其进行调研。适用于:提交Issue、提交PR或发表评论之前。

下载

例如,以下行为是安全的:

import pickle

with open("stream.pkl", "wb") as f:
    p = pickle.Pickler(f)
    # 长时间运行中多次 dump 不同对象
    p.dump([1, 2, 3])      # id: 0xabc123 → memo[0xabc123] = (0, [1,2,3])
    # ... 数分钟后
    p.dump({"x": 42})     # id 可能复用 0xabc123,但 pickle 会检查 is-identity
    # ✅ 正确序列化,不会误认为是前一列表的重复引用

⚠️ 注意事项:

  • 该机制依赖于 memo 中的对象强引用,因此不能手动清空或篡改 pickler.memo;
  • 若使用自定义 persistent_id 或 reducer,需确保其逻辑不破坏对象身份一致性;
  • marshal 模块无此 memo 机制,故不支持循环引用或共享对象,但 pickle 完全无需担忧 ID 复用问题。

总结:Python 对象 ID 的复用是内存管理的正常行为,而 pickle 的 memo 设计从根源上规避了由此引发的歧义——它既利用 ID 做快速查找,又以对象身份(is 比较)作为最终判定依据。因此,无论是短时批量 dump 还是长时流式写入,只要使用标准 Pickler,即可放心依赖其正确性与安全性。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python stream

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

7619

3

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.29

3605

6

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

2025.08.29

4768

10

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.29

3165

10

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

140

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

100

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

60

15

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

2026.11.06

160

12

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

2026.11.06

140

13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程