必须用python提取日志关键字段并聚类分析：用pandas解析nginx或scrapy结构化日志，指定parse_dates、处理嵌套json，再按错误类型、时间、url特征（netloc/path）分组统计失败率。
日志里出现大量 403、502、Timeout，光靠肉眼扫根本没法定位是代理失效、UA过期，还是目标网站加了反爬逻辑——必须用 Python 把关键字段提取出来，按错误类型+时间+URL特征聚类分析。
用 pandas 快速解析 Nginx 或 Scrapy 日志格式
别写正则硬啃。Nginx access log 有固定字段顺序，Scrapy 的 scrapy.log 或自定义 JSON 日志也建议统一成结构化输出。直接用 pandas.read_csv 配合分隔符或 pd.read_json 加 lines=True 最省事。
- 对空格分隔的 Nginx 日志，用
sep=r'\s+', engine='python'，跳过注释行（comment='#'） - 如果日志含嵌套 JSON（如 Scrapy 的
log.msg带response_status），先用json.loads()提取再拼成 DataFrame，别在read_csv里硬解析 - 务必指定
parse_dates=['time_local']或类似字段，否则后续按小时/分钟聚合会出错
用 value_counts() 和布尔索引快速定位高频失败原因
失败不等于 status >= 400 —— ConnectionRefusedError、ReadTimeout 这类异常通常记在日志 message 字段里，得分开查。
SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途 ：；核心要点📝 题解模式 ：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式 ：输入 Python 代码，自动添加详细中。它将相关步骤、
- HTTP 状态码：执行
df[df['status'] >= 400]['status'].value_counts().head(5)，一眼看出是不是集中卡在429（被限频）或403（权限拒绝） - 异常字符串：用
df[df['message'].str.contains('timeout|refused|failed', case=False, na=False)]['message'].str.extract(r'(timeout|ConnectionRefused|Failed)')抽出异常类型 - 注意
na=False，否则含 NaN 的行会被丢弃，导致统计偏差
结合 urllib.parse 分析 URL 模式，判断是否触发反爬规则
很多失败不是随机发生的，而是集中在特定路径、参数或域名层级。手动看 URL 列效率极低，要用解析后字段做分组统计。
- 用
urllib.parse.urlparse(df['url'])拆出netloc（域名）、path（路径）、query（查询参数）三列 - 检查
df.groupby('netloc')['status'].agg(['count', lambda x: (x>=400).mean()])，找出失败率最高的域名——可能某个子站刚上了新 WAF - 对
path做str.split('/').str[1]提取一级目录，再统计失败率，能发现是不是/api/接口全挂了而首页正常
真正难的不是写这几行代码，而是日志字段命名不一致：有人叫 http_status，有人叫 code，还有人把异常堆栈全塞进 msg 里。上线前务必用 df.columns 和 df.head() 确认实际字段名，别依赖文档。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
