如何在Python 3.12中利用生成器按块分片读取文件？-Python教程-PHP中文网

Python 3.12 中推荐用 iter(partial(f.read, chunk_size), b'') 按块读取文件，需二进制模式、正确绑定参数并设合理块大小（如8192）；处理UTF-8文本应使用 codecs.getreader 或 io.TextIOWrapper 避免字节截断。

如何在python 3.12中利用生成器按块分片读取文件？

Python 3.12 中用生成器按块读取文件，核心是避免一次性加载大文件到内存，同时保持代码简洁可控——iter() 配合 functools.partial 是最轻量、最符合 Python 惯例的做法，比手动 while 循环更安全，也比 readlines() + 切片更省内存。

用 `iter()` + `partial` 构造块读取生成器

这是官方推荐模式，利用 iter(callable, sentinel) 的双参数形式：每次调用 callable（如 f.read），直到返回值等于 sentinel（如空字节 b''）为止。关键在于把 f.read 绑定固定块大小。

常见错误是直接写 iter(f.read, b'')——这会传入未绑定的可调用对象，导致 TypeError；或者漏掉 sentinel，变成无限迭代。

必须用 functools.partial(f.read, chunk_size) 绑定块大小，不能直接传 f.read
chunk_size 推荐设为 8192 或 65536（2 的幂），兼顾系统页大小与缓存效率
文本文件需用 mode='rb'，否则 read() 返回字符串，无法与 b'' 比较

from functools import partial
<p>def read_in_chunks(file_path, chunk_size=8192):
with open(file_path, 'rb') as f:
for chunk in iter(partial(f.read, chunk_size), b''):
yield chunk</p><h1>使用示例</h1><p>for chunk in read_in_chunks('large.log'):
process(chunk)  # chunk 是 bytes 类型
</p>

处理文本文件时如何避免字节边界截断中文

直接按字节切分会导致 UTF-8 编码的中文被劈开，解码失败（UnicodeDecodeError: invalid continuation byte）。不能靠“先读再 decode”，而要让 Python 自动处理编码边界。

根本解法是不用 rb 模式 + iter，改用文本模式配合 io.BufferedReader 手动缓冲，或更简单：用 codecs.getreader 包装二进制流。

不要在生成器里对每个 chunk 调用 .decode('utf-8') —— 中文可能跨块
推荐方案：用 io.TextIOWrapper 包装已有的二进制流，并设置 line_buffering=False，再按行或按字符读（适合日志类场景）
若真需“文本块”，可用 codecs.getreader('utf-8')(f)，它内部维护解码状态，自动合并跨块字节

import codecs
<p>def read_text_chunks(file_path, chunk_size=8192):
with open(file_path, 'rb') as f:
reader = codecs.getreader('utf-8')(f)
while True:
chunk = reader.read(chunk_size)
if not chunk:
break
yield chunk
</p>