python脚本通过正则提取nginx日志请求路径（去查询参数）、清洗标准化、过滤干扰项后，用counter统计并输出top10接口，支持gzip日志、时间范围提示及tabulate表格可视化。
用 Python 脚本分析 Nginx access.log 统计访问量最高的 Top10 接口，核心是解析日志中 请求路径（$request_uri 或 $uri），按路径聚合计数，再排序取前 10。关键在于日志格式识别、正则提取、高效统计和合理去噪。
确认 Nginx 日志格式并提取有效路径
Nginx 默认日志格式类似：
127.0.0.1 - - [10/Jan/2024:14:22:05 +0800] "GET /api/v1/users?limit=10 HTTP/1.1" 200 1234 "https://example.com" "Mozilla/5.0..."
你需要提取的是 请求行中的路径部分（如 /api/v1/users），而非完整 URI（避免带查询参数导致重复统计）。常用做法是只取 path，忽略 ?xxx 后缀。
- 用正则
r'"[A-Z]+ (\S+)(\?.*)? HTTP/[^"]*"'匹配请求路径（捕获第一组\S+） - 对路径做简单清洗：去除空格、截断锚点（如
#section）、统一末尾斜杠（可选，如/api/和/api视为同一接口需 normalize） - 跳过非 GET/POST 等业务请求（如健康检查
/healthz、静态资源.js/.css/.png）可加白名单或后缀过滤
用字典或 Counter 高效统计并排序
逐行读取日志文件（尤其大文件时避免一次性 load），用 collections.Counter 或原生字典累加路径出现次数：
- 推荐
Counter：简洁且自带most_common(10)方法，一行得 Top10 - 注意内存：不建议把整份日志读入 list，应边读边 parse 边 update Counter
- 示例逻辑片段：
from collections import Counter<br>counter = Counter()<br>for line in open('access.log'): <br> path = extract_path(line) # 上一步定义的提取函数<br> if path and not is_ignored(path):<br> counter[path] += 1<br>top10 = counter.most_common(10)
处理常见干扰项提升准确性
原始日志直接统计容易被噪声拉偏，需针对性过滤：
-
排除机器人和爬虫：检查
User-Agent字段，过滤含bot、spider、curl（非业务调用）、monitor的请求 -
合并 RESTful 变体：如
/users/123和/users/456都属于/users/{id}，可借助简单规则替换（如re.sub(r'/\d+', '/{id}', path)），但需谨慎避免过度泛化 - 忽略 4xx/5xx 错误请求（可选）：若只关心成功访问，可在解析时校验状态码字段（第 9 字段），只统计 2xx/3xx
-
支持 gzip 日志：用
gzip.open(..., 'rt')替代open直接读取.log.gz
输出结果并支持简单可视化（可选）
统计完 top10 后，打印成表格更直观：
- 用
tabulate库（pip install tabulate）快速渲染对齐表格 - 或导出 CSV 供 Excel 分析：
import csv; csv.writer(f).writerows(top10) - 加时间范围提示：从日志时间戳（第 4 字段）提取起止时间，让结果带上下文，例如 “统计周期：2024-01-10 00:00 – 23:59”
- 简单柱状图可用
matplotlib快速绘制（适合调试，生产环境建议导出数据交 BI 工具）
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
