一次性读取数亿行日志会因内存溢出被系统OOM kill；应使用生成器分批读取，配合islice控制批次、errors参数容错编码异常，并分层解耦I/O与计算。
为什么不能一次性读完数亿行日志？
内存会直接爆掉。比如每行平均 200 字节，1 亿行就接近 20 GB 内存——open().readlines() 或 list(file) 会把全部内容载入内存，进程大概率被系统 OOM kill。生成器不是“语法糖”，而是唯一可行的内存控制手段。
yield 分批读取的核心写法
关键不是 yield 本身，而是控制每次 yield 的行数粒度，并避免中间累积列表。常见错误是先收集 batch = [] 再 yield batch，这在 batch 很大时仍吃内存。
正确做法是边读边 yield 单行，由调用方聚合：
def read_log_in_chunks(filepath, chunk_size=10000):
with open(filepath, "r", encoding="utf-8") as f:
for line in f:
yield line.rstrip("\n")
如果真需要固定大小的批次（如每 1 万行一组），用 itertools.islice 更安全：
from itertools import islice
<p>def read_log_batches(filepath, batch_size=10000):
with open(filepath, "r", encoding="utf-8") as f:
while True:
batch = list(islice(f, batch_size))
if not batch:
break
yield [line.rstrip("\n") for line in batch]
</p>
-
islice不会预加载整个文件，只按需取指定数量行 - 每次
list(islice(...))只保留当前 batch，上一批自动被回收 - 注意
rstrip("\n")比strip()更精准，避免误删日志末尾空格
遇到编码错误或脏数据怎么办？
日志文件常混杂非 UTF-8 字节（如二进制 trace、截断的多字节字符），直接 open(..., encoding="utf-8") 会抛 UnicodeDecodeError 中断整个流程。
必须显式容错：
- 用
errors="ignore"跳过非法字节（适合调试或统计场景） - 用
errors="replace"替换为 （适合需保行数对齐的解析） - 绝对不要用
try/except UnicodeDecodeError包裹整行读取——for line in f的底层迭代器已触发解码，异常发生时文件指针位置不可控
正确写法：
Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景，可作为自动化工作流的一部分，也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期，并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看，该技能
with open(filepath, "r", encoding="utf-8", errors="replace") as f:
for line in f:
yield line.rstrip("\n")
性能瓶颈往往不在 yield，而在后续处理
很多人测出“yield 很慢”，其实是把耗时操作塞进了生成器函数里，比如每行都做正则匹配、JSON 解析或写磁盘。这会让生成器失去“惰性”优势，且无法并行。
推荐分层解耦：
- 第一层：纯 I/O，只做
yield line（快） - 第二层：用
concurrent.futures.ProcessPoolExecutor并行解析各行（CPU 密集） - 第三层：用
queue.Queue或生成器链缓冲，防生产者-消费者速度差导致阻塞
例如，避免这样写：
def bad_generator(filepath):
for line in open(filepath):
parsed = json.loads(line) # 这里卡住整个生成器
yield transform(parsed)
而应：
def line_reader(filepath):
with open(filepath, "r", encoding="utf-8", errors="ignore") as f:
yield from (line.rstrip("\n") for line in f)
<h1>外部调用时再 map 解析</h1><p>for parsed in pool.map(parse_json_line, line_reader(filepath)):
process(parsed)
</p>
真正难的是日志格式不统一、字段缺失、时间戳乱序——这些没法靠 yield 解决，得在解析层加 schema 校验和 fallback 策略。yield 只负责不崩内存，别指望它自动修数据。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
