如何在Python中实现大对象的延迟加载（Lazy Loading）模式？-Python教程-PHP中文网

大对象延迟加载需显式控制初始化时机，即__init__中不创建而用@property或cached_property在首次访问时构建并缓存；需注意序列化时剔除已加载大对象，且非高频访问场景下懒加载可能得不偿失。

如何在python中实现大对象的延迟加载（lazy loading）模式？

大对象的延迟加载不是靠装饰器或魔法方法自动完成的，而是必须显式控制初始化时机——__init__ 里不创建耗资源对象，改用属性访问时才触发构建。

用 `@property` + `None` 检查实现最简懒加载

这是最直接、无依赖的实现方式。核心是把昂贵对象的创建逻辑移到属性 getter 中，并缓存结果。

首次访问 self._heavy_data 时才调用 load_heavy_data()
后续访问直接返回已缓存的实例，避免重复加载
注意：不要在 __init__ 中初始化该属性（留为 None 或用 hasattr 判断）
若需线程安全，得加 threading.Lock，但多数单线程场景可省略

class DataProcessor:
    def __init__(self, path):
        self.path = path
        self._dataset = None  # 不在这里加载
<pre class="brush:php;toolbar:false;">@property
def dataset(self):
    if self._dataset is None:
        self._dataset = load_large_csv(self.path)  # 真正耗时操作
    return self._dataset

Shadows Python Sensei

Python 最佳实践助手——代码规范、设计模式、性能优化、测试与类型注解。适用于编写或审查 Python 代码。

下载

用 `functools.cached_property`（Python 3.8+）替代手写逻辑

它本质就是带缓存的 @property，自动处理 None 判断和单次计算，代码更干净，且线程安全。

仅适用于 Python ≥ 3.8；旧版本需回退到手写 @property
不可用于实例变量重赋值场景（cached_property 是只读的）
如果加载函数依赖实例状态（如 self.config），确保这些属性在 cached_property 被访问前已设置好
无法清除缓存（除非手动 del obj._attr），不适合需动态重载的场景

from functools import cached_property
<p>class ReportGenerator:
def <strong>init</strong>(self, source_id):
self.source_id = source_id</p><pre class="brush:php;toolbar:false;">@cached_property
def model(self):
    return load_ml_model(f"models/{self.source_id}.pkl")

避免踩坑：别在 `getstate` / `pickle` 里意外触发加载

序列化时，Python 默认会遍历所有实例属性。如果懒加载属性已被触发，_dataset 这类大对象就会被一并打包，导致体积暴增或序列化失败。

重写 __getstate__，主动剔除已加载的大对象：state = self.__dict__.copy(); state.pop('_dataset', None)
或者更彻底：只在 __getstate__ 中保留原始参数（如 path），让反序列化后重新懒加载
若用了 cached_property，它的底层字段名是 _cached_<property_name></property_name>，也要在 __getstate__ 中过滤
测试时用 pickle.dumps(obj) 看大小，比预期大十倍？大概率是懒属性已被触发且没清理