aiohttp批量抓取需复用ClientSession、设置合理UA头、用Semaphore控制并发数、检查响应状态与类型。否则易报错、被封或连接池耗尽。
用 aiohttp 批量抓取网站内容是可行的，但直接套用同步爬虫思路会频繁报错、被封、甚至触发连接池耗尽——核心问题不在“能不能并发”，而在于如何控制并发节奏、处理响应异常、规避反爬机制。
为什么 aiohttp.ClientSession 必须复用，不能每次请求都新建
新建 ClientSession 会初始化连接池、SSL 上下文和事件循环绑定，开销大且易泄漏。高频新建还会触发系统级文件描述符耗尽（OSError: [Errno 24] Too many open files）。
实操建议：
- 整个抓取任务只创建一个
ClientSession实例，通过async with session:包裹所有请求 - 若需不同配置（如代理、超时），可为同一 session 设置默认参数：
timeout=aiohttp.ClientTimeout(total=10) - 绝对不要在循环里写
async with aiohttp.ClientSession() as session:—— 这等于每请求建一次会话
aiohttp 抓取时常见 403/400 错误的直接原因和应对
不是目标网站封 IP，而是 aiohttp 默认不带 User-Agent，服务端直接拒收。部分站点还校验 Accept、Accept-Language 等头字段。
实操建议：
- 必须显式传入
headers参数，至少包含User-Agent：{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."} - 避免用固定 UA 字符串高频请求，可准备 3–5 个 UA 轮换，用
random.choice(uas)注入 - 遇到
400 Bad Request，检查 URL 是否含未编码的空格或中文——必须用urllib.parse.quote(url, safe=":/?&=")预处理
如何安全控制并发数，避免被限流或触发熔断
asyncio.gather() 直接传入几百个协程，等于瞬间发起同等数量连接，多数网站会立即返回 429 或关闭连接。真实场景需要“节流”而非“全速”。
实操建议：
- 用
asyncio.Semaphore(n)限制最大并发请求数（推荐 5–15，视目标服务器承受力调整） - 每个请求前加
async with semaphore:，确保同时活跃连接数不超过阈值 - 对返回 429 或连接超时的请求，建议加入指数退避：
await asyncio.sleep(2 ** retry_count + random.uniform(0, 1)) - 不要依赖
session.get(..., timeout=...)单一超时——它只控制单次请求，不控制排队等待时间
解析 HTML 前必须确认响应状态和内容类型
aiohttp 不自动抛出 HTTP 错误状态码异常（如 404、502），也不校验 Content-Type。直接用 etree.HTML(await resp.text()) 可能解析到重定向页面、JSON 错误体，甚至空响应。
实操建议：
- 每次请求后先检查
resp.status是否为 200；非 200 时记录 URL 和状态码，跳过解析 - 读取前检查
resp.content_type，只处理text/html或application/xhtml+xml类型 - 用
await resp.read()获取 bytes 再解码，比await resp.text()更可控（可指定encoding，避免乱码） - 解析失败时捕获
etree.ParserError，不中断整个任务
真正难的不是发请求，而是让一堆并发请求“有分寸地”跑起来：既要快，又不能把对方服务器打挂，也不能被自己搞崩。UA、并发数、错误重试、响应校验——漏掉任意一环，批量抓取都会在半夜三点给你弹个异常堆栈。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
