如何应用 Iterator 延迟加载特性实战流式读取大批量文件记录并大幅降低堆内存变量峰值-java教程-PHP中文网

流式读取核心是“不缓存、不预装、边读边丢”，用原生迭代器（如文件对象、csv.reader、Django .iterator()、ET.iterparse、ijson）处理大数据，避免OOM。

如何应用 iterator 延迟加载特性实战流式读取大批量文件记录并大幅降低堆内存变量峰值

直接用 iterator 实现流式读取，核心是“不缓存、不预装、边读边丢”，让内存只承载当前正在处理的那一小块数据。它不是锦上添花的技巧，而是面对百万级日志、千万行 CSV、GB 级 XML 或数据库全表导出时，防止 OOM 的刚性手段。

Python 文件对象本身就是迭代器，无需额外封装。关键在写法——必须避开 readlines() 和 list(f) 这类全量加载操作：

✅ 正确：with open("data.csv") as f: for line in f: —— 每次只 hold 一行字符串，换行符保留，内存峰值稳定在几 KB
❌ 危险：for line in open("data.csv").readlines(): —— 先生成含全部行的 list，500MB 文件直接申请 500MB+ 内存
编码异常常见于 BOM 或混合编码，建议统一加 encoding="utf-8-sig" 自动剥离头部
若需跳过空行或注释，直接在循环内判断：if not line.strip() or line.startswith("#"): continue

别自己 line.split(",")，字段含逗号或换行会崩。用 csv.reader 流式解析，它内部也基于文件迭代器：

import csv
with open("huge.csv", encoding="utf-8") as f:
  reader = csv.reader(f)
  for row in reader:
    process(row) # row 是 list，但仅当前行，不缓存历史
如只需某几列，用 csv.DictReader(f, fieldnames=["id","name"]) 配合字段白名单，避免构建冗余 key
注意：不要对 reader 调用 list() 或 len()，会触发全量读取

Django 默认把 QuerySet 所有结果缓存在 _result_cache 中，哪怕你只 for 一次。解决方式极简但必须严格遵守调用时机：

jQuery网页图片延迟加载代码基于jquery-1.8.3.min.js制作，实现图片预加载效果，代码附详细中文注释，使用方便。

下载

✅ 有效：for obj in MyModel.objects.filter(status=1).iterator(chunk_size=1000): —— 禁用缓存，每批拉 1000 行，处理完即释放引用
❌ 无效：qs = MyModel.objects.all(); qs.iterator(); for obj in qs: —— .iterator() 必须在最终执行前调用，放错位置等于没写
如果只取 ID 或单字段，叠加 values_list("id", flat=True).iterator()，跳过模型实例化，省内存 5–10 倍
慎用 select_related 和 prefetch_related：它们虽解 N+1，却把关联对象也载入内存，大结果集下可能翻倍占用

DOM 解析（ET.parse）会把整棵树塞进内存；SAX 又太底层。推荐标准库 iterparse —— 事件驱动 + 显式清理：

监听 "start" 和 "end" 事件，只在 end 时处理目标标签（如 "record"）
处理完立即调用 elem.clear() 和 root.clear()，切断子元素引用，让 GC 及时回收
示例片段：context = ET.iterparse(f, events=("start", "end"))，遍历 context 并按需构建轻量 dict
JSON 场景可用 ijson.parse() 或 ijson.items(f, "records.item")，逐个 yield 解析后的 Python 对象，不驻留全文本