不能用readlines()读大文件，因为它一次性将整个文件加载进内存生成列表，即使只处理首行，全部内容也已驻留，易触发memoryerror；安全做法是用for line in f逐行惰性迭代，每次仅加载一行。
为什么不能用 readlines() 读大文件
因为 readlines() 会一次性把整个文件加载进内存，哪怕只是几 GB 的日志，也可能直接触发 MemoryError 或拖慢系统。它返回的是完整列表，哪怕你只处理第一行，其余内容也已驻留内存。
真正安全的做法是让 Python 按需拉取——利用文件对象本身的迭代器协议，它默认就是逐行、惰性、不缓存全文的。
- ✅ 正确：直接
for line in f:—— 底层调用__next__()，每次只读一行（含换行符） - ❌ 错误：
f.readlines()、f.read().split('\n')、list(f) - ⚠️ 注意：
line末尾带\n，如需干净字符串，用line.rstrip('\n')（比strip()更精准，避免误删末尾空格）
如何跳过空行和注释行并保持高效
业务中常见需求：忽略纯空白行、以 # 开头的注释行。关键是在不额外生成字符串副本的前提下判断。
不要写 if line.strip() and not line.strip().startswith('#'): —— 这会调用两次 strip()，对每行都新建字符串，浪费 CPU 和内存。
- ✅ 推荐写法：
if line.strip() and not line.lstrip().startswith('#'): -
lstrip()只去左端空白，开销小；startswith()在原字符串上操作，不复制 - 如果格式严格（如配置文件），可进一步用
line[:1] != '#' and line.strip()，避免任何方法调用
需要按块读取时，用 iter() + readline 控制粒度
有些场景不适合单行处理，比如解析多行结构的日志（如 Java 异常堆栈）、固定宽度记录，或想批量送入 concurrent.futures 处理。
这时别自己写 while 循环加计数器，Python 提供了更简洁可控的方式：
def read_in_chunks(file_obj, chunk_size=1000):
return iter(lambda: [next(file_obj, None) for _ in range(chunk_size)], [])
with open('big.log') as f:
for chunk in read_in_chunks(f, 500):
lines = [line for line in chunk if line is not None]
process_batch(lines)
注意：iter(callable, sentinel) 是核心，它持续调用 lambda 直到返回 sentinel（这里是空列表）。每轮生成一个固定长度的行列表，且不预加载全文。
编码错误和行尾不一致怎么办
真实大文件常混杂编码（如部分 GBK 日志夹着 UTF-8 BOM）或非标准换行（\r、\r\n、\n 并存）。直接 open(..., encoding='utf-8') 可能中途抛 UnicodeDecodeError。
- ✅ 安全做法：加
errors='ignore'或errors='replace'，例如open(path, encoding='utf-8', errors='replace') - 若需保留原始字节再解码，用
open(path, 'rb')+ 手动line.decode('utf-8', errors='replace') - 跨平台行尾：Python 的
for line in f自动识别\n、\r\n、\r，无需额外处理
最易被忽略的是：用 buffering=1（行缓冲）对性能几乎无提升，反而可能因频繁刷写降低吞吐；默认缓冲（buffering=-1）在绝大多数场景下更稳更快。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
