如何使用Python处理具有环状引用关系的对象图序列化？-Python教程-PHP中文网

pickle默认不崩溃于循环引用，因其协议4+已内置检测机制；崩溃主因是禁用跟踪（如protocol=0/1）、自定义__getstate__/__reduce__破坏引用链或手动绕过保护。

如何使用python处理具有环状引用关系的对象图序列化？

为什么 `pickle` 默认会崩溃在环状引用上

因为 pickle 在序列化时默认用“深度优先遍历”跟踪对象，遇到已见过的对象就抛 RecursionError 或无限递归——不是它不能处理环，而是它的默认协议没开启循环引用检测。你看到的错误通常是 Maximum recursion depth exceeded，或者直接卡死。

关键点：Python 3.8+ 的 pickle 协议 4+（默认启用）本身支持循环引用，但前提是不能有自定义 __getstate__ / __setstate__ 破坏引用链，也不能手动禁用跟踪。

确保没重写 __getstate__ 返回不含父引用的 dict（否则 pickle 不知道该保留哪个引用）
别传 protocol=0 或 protocol=1 —— 它们不支持循环引用
避免在 __reduce__ 中返回带未解析引用的元组

用 `copy.deepcopy` 预处理再序列化可行吗

不可行。这不是“深拷贝 vs 序列化”的选择题，而是两个不同目标：copy.deepcopy 本身就会在遇到环时抛 RecursionError，它和 pickle 共享同一套对象遍历逻辑。你没法靠先深拷贝来“绕开”环问题。

真正能预处理的只有“解环”操作，比如把循环引用替换成 ID 或路径字符串，但这要求你控制对象结构，且反序列化时需额外恢复逻辑——适合领域模型，不适合通用场景。

deepcopy 和 pickle.dump 都依赖 gc.get_referents() 类似的遍历机制，都怕环
如果必须用 JSON，得自己实现 default 函数识别重复对象并注入 $ref 字段（类似 JSON Schema 的引用机制）
第三方库如 jsonpickle 内置了这类逻辑，但它会把对象变成带 py/object 字段的 JSON，可读性差、安全性低

推荐方案：用 `dill` 替代 `pickle` 处理复杂对象图

dill 是 pickle 的超集，它重写了大部分序列化逻辑，对函数、闭包、类内嵌对象、环状引用的支持更鲁棒。它默认启用引用跟踪（类似 pickle.HIGHEST_PROTOCOL），且不强制要求对象实现特定协议。

huaweicloud-python-sdk-helper

华为云 Python SDK 查询工具。自动发现已安装 SDK 的服务包、Client类、API 方法、入参详情、类信息（__init__ 参数、属性、类型、描述），支持关键字搜索，快速定位目标 API 使用方法。

下载

安装后只需替换导入语句，其他代码几乎不用改：

import dill
<h1>原来这样会崩</h1><h1>pickle.dump(obj, f)</h1><h1>现在这样就能过</h1><p>dill.dump(obj, f)
obj2 = dill.load(f)</p>

注意：dill 序列化结果不兼容标准 pickle，别混用
若对象含 C 扩展类型（如 numpy.ndarray），确认 dill 版本 ≥ 0.3.6，旧版可能跳过某些引用
调试时加 dill.detect.trace(True) 可打印引用路径，快速定位哪一层环导致失败

自定义序列化时如何安全处理环

如果你在写自己的 __getstate__，核心原则是：让每个对象的状态字典中，对“可能成环”的引用字段，统一用弱引用或 ID 替代，而不是裸对象。

例如，父子双向关联中，子对象的 parent 字段不要存 parent 实例，而存 id(parent) 或一个全局 registry 中的 key：

class Node:
    _registry = {}
<pre class="brush:python;toolbar:false;">def __init__(self, name):
    self.name = name
    self.children = []
    self._parent_id = None

@property
def parent(self):
    return self._registry.get(self._parent_id)

@parent.setter
def parent(self, value):
    self._parent_id = id(value)
    self._registry[self._parent_id] = value

def __getstate__(self):
    state = self.__dict__.copy()
    # 删掉原始 parent 引用，只留 _parent_id
    state.pop('parent', None)
    return state