如何在Python中用生成器yield处理超大文件以节省内存-Python教程-PHP中文网

for line in open() 不能用于极端场景，因单行超长（如50mb）仍会全载入内存，且默认编码错误即中断；应改用带缓冲、解码容错的 yield 手动分块读取。

如何在python中用生成器yield处理超大文件以节省内存

yield 读取超大文件时为什么不能直接 for line in open()？

因为 for line in open() 看似简洁，但底层仍会把整行内容加载进内存——如果某一行是 50MB 的 JSON 或 CSV 字段拼接的长文本，它照样全载入。更危险的是，open() 默认不指定编码或错误处理，遇到二进制混入、BOM、非法字节时直接抛 UnicodeDecodeError，而生成器一旦中断就难续读。

正确做法是手动控制缓冲与解码：用 io.BufferedReader 分块读，配合 bytes.decode() 指定 errors='replace' 或 'ignore'，再按行切分。这样每批只留几 KB 在内存里。

实操建议：

别依赖 fileinput 或 pathlib.Path.read_text()，它们内部仍是全量读取
用 buffering=8192（而非 0 或默认值）平衡 I/O 频次和内存占用
对日志类文件，优先用 lineiter = iter(f.readline, '')，比 for line in f 更可控

如何写一个带异常恢复能力的 yield 行迭代器？

真实场景中，超大文件常有损坏、编码跳变、空字节嵌入。硬用 yield 逐行吐，出错就崩，没法跳过坏块继续。必须把解码和分隔逻辑拆开，让单行失败不影响后续。

关键点在于：不把 decode() 放在 yield 前，而是 yield 原始 bytes，由调用方决定怎么 decode；或者在生成器内捕获 UnicodeDecodeError，用 chardet.detect() 尝试重判编码（仅限首次失败）。

示例片段（安全读取）：

Sakura python draw

使用Python的turtle和random库，递归绘制分形樱花树，并动画模拟花瓣自然飘落效果。

下载

def safe_line_reader(filepath, chunk_size=65536):
    with open(filepath, "rb") as f:
        buffer = b""
        while True:
            chunk = f.read(chunk_size)
            if not chunk:
                if buffer:
                    yield buffer.decode("utf-8", errors="replace")
                break
            buffer += chunk
            lines = buffer.split(b"\n")
            buffer = lines.pop()  # 保留最后一行不完整部分
            for line in lines:
                try:
                    yield line.decode("utf-8", errors="replace")
                except UnicodeDecodeError:
                    yield line.decode("latin-1", errors="replace")