Python快速读取大文件数据_生成器yield实现内存高效处理-Python教程-PHP中文网

直接 open()+readlines() 会爆内存，因为 readlines() 将整个文件一次性加载进内存，产生远超文件大小的字符串对象开销；应改用 for line in f: 或自定义带异常处理的生成器。

python快速读取大文件数据_生成器yield实现内存高效处理

为什么直接 open() + readlines() 会爆内存

因为 readlines() 会把整个文件一次性加载进内存，哪怕只是想逐行处理。1GB 的日志文件，可能瞬间吃掉 2GB+ 内存——不是文件大小，是 Python 字符串对象的额外开销和换行符缓存导致的。

真正要的是“按需取一行”，不是“全拿进来再切”。生成器 yield 正是干这个的：函数返回一个迭代器，每次只产出一行，上一行对象可被垃圾回收。

别用 for line in f.readlines(): —— 它已经把全部行存在列表里了
改用 for line in f:（底层就是基于迭代器，等价于手动 yield）
如果需要预处理（比如跳过注释、拆字段），就封装成自定义生成器函数

怎么写一个安全的逐行生成器（带编码和异常处理）

文件编码不一致、中间出现坏字节、权限突然丢失……这些都会让裸 for line in f: 直接报错中断。生产环境必须兜底。

关键点：用 try/except 包住单行读取逻辑，跳过出问题的行，而不是整个流程崩掉；显式指定 encoding，避免平台默认编码差异（比如 Windows 的 cp1252 vs Linux 的 utf-8）。

Python 3.14.2

Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本，属于3.14系列的第二个维护更新。该版本包含了18项修复，重点解决了多进程、数据类及正则表达式等模块的回归问题，并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式（移除GIL）正式获得官方支持，是Python发展的重要里程碑。

下载

始终传 encoding='utf-8'，除非你明确知道文件是 gbk 或 latin-1
用 errors='ignore' 或 errors='replace' 处理非法字节，别留空（默认是 'strict'）
在生成器内部捕获 UnicodeDecodeError 和 IOError，yield 前记录警告即可，不要 raise

def safe_line_reader(filepath):
    with open(filepath, encoding='utf-8', errors='replace') as f:
        for i, line in enumerate(f):
            try:
                yield line.rstrip('\n\r')
            except (UnicodeDecodeError, OSError):
                print(f"Warning: skip corrupted line {i} in {filepath}")