直接用open().readlines()读大日志会内存爆掉，因10gb日志约2000万行，全量加载占用8–12gb内存并触发oom；应改用for line in f:流式迭代，内存恒定几mb。
为什么直接用 open() 读大日志会卡死或内存爆掉
因为单条 Nginx 日志通常 200–500 字节，10GB 日志 ≈ 2000 万行，open().readlines() 会一次性把全部内容载入内存，Python 进程轻松吃掉 8–12GB 内存，接着被系统 OOM kill。不是代码写错了，是读法错了。
- 永远用
for line in f:迭代文件对象，它按行缓冲，内存占用基本恒定在几 MB - 避免
read()、readlines()、list(f)等全量加载操作 - 如果必须随机访问（比如跳过前 100 万行），用
itertools.islice()，别自己for i in range(1000000): next(f)—— 后者在 PyPy 或某些 I/O 模式下可能意外吞掉多行
如何用正则高效提取 $remote_addr、$time_local、$status 等字段
Nginx 默认日志格式是空格分隔但含嵌套引号（如 "GET /api/v1/users HTTP/1.1"），不能简单 line.split()。必须用正则预编译匹配，否则每行都 re.compile 会拖慢 3–5 倍。
- 推荐用这个模式（适配
log_format combined）：pattern = r'^(?P<ip>[\d\.]+) - - \[(?P<time>[^\]]+)\] "(?P<method>[A-Z]+) (?P<path>[^"]+) HTTP/(?P<http>[\d\.]+)" (?P<status>\d+) (?P<size>\d+|-) "(?P<ref>[^"]*)" "(?P<ua>[^"]*)"$'</ua></ref></size></status></http></path></method></time></ip>
-
re.compile(pattern, re.ASCII)必须提前做，放在循环外 - 匹配失败的行（如健康检查日志、不完整请求）用
if m is None: continue跳过，别让m.groupdict()报AttributeError - 注意
time是字符串，转datetime用strptime(..., "%d/%b/%Y:%H:%M:%S %z")，%z能正确解析+0800时区；若日志没带时区，得手动补（常见于本地测试环境）
怎么边解析边聚合，避免把所有数据存进 list 再统计
你不需要“先存所有 IP，再 Counter”，那又回到内存爆炸的老路。直接流式聚合：用字典累计计数、用 heapq 维护 TOP N、用 defaultdict(list) 收集异常状态详情——只留你需要的结果结构。
- 统计每分钟请求数：
key = dt.strftime("%Y-%m-%d %H:%M")，用defaultdict(int)累加 - 找 TOP 10 耗时接口（需 access_log 开启
$request_time）：heapq.heappushpop(heap, (float(req_time), path))，保持堆大小为 10 - 过滤 5xx 错误并记录完整行（用于后续人工排查）：
if status.startswith("5"): error_lines.append(line)，但要限制len(error_lines) ，防突发错误打满内存
遇到 gzip 压缩日志（access.log.1.gz）怎么办
别解压到磁盘再读——临时解压 10GB 文件既慢又占空间。用 gzip.open() 直接当普通文件对象迭代，IO 效率几乎无损。
- 统一用
gzip.open(path, "rt", encoding="utf-8")替代open()，路径含.gz就自动识别 - 如果日志是
zstd或lz4（某些高配部署），就得装对应包：pip install zstandard，然后用zstandard.ZstdDecompressor().stream_reader(f).readline()，注意它返回 bytes，得手动 decode - 混合日志场景（如
access.log+access.log.1.gz+access.log.2.gz）：用glob.glob("access.log*")列出所有，对每个路径判断后缀，分发到不同 open 方式，别硬写成一个函数硬扛所有格式
实际跑起来你会发现：瓶颈往往不在 Python 解析，而在磁盘顺序读取速度。SSD 上解析 1GB 日志约 6–8 秒，HDD 可能要 30 秒以上；如果还要写入 SQLite 或发网络请求，记得加限速或批量提交——这些地方比正则慢得多，也更容易被忽略。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
