如何优化Python爬虫中的DNS解析耗时以提升抓取频率？-Python教程-PHP中文网

dns解析慢是异步爬虫最隐蔽的阻塞点：aiohttp默认同步dns导致协程排队等待，httpx原生支持异步dns与内存缓存，实测dns失败率低60%+；手动集成aiodns或预热dns可优化aiohttp，硬编码ip+host头为终极降级方案。

如何优化python爬虫中的dns解析耗时以提升抓取频率？

DNS 解析慢不是“网络卡”，而是异步爬虫里最隐蔽的阻塞点——哪怕你用 aiohttp 发 100 个并发请求，只要底层 DNS 查询还是同步的，所有协程就得排队等解析完才能发包。

为什么默认 DNS 解析会拖垮异步爬虫

Python 标准库的 socket.getaddrinfo() 是同步阻塞调用。aiohttp、httpx 等异步 HTTP 客户端在发起请求前，若没显式配置异步 DNS 解析器，就会掉进这个坑：事件循环被挂起，协程无法让出控制权。

典型现象：
- 并发数拉到 50+，实际 QPS 不升反降
- asyncio.TimeoutError 或 OSError: [Errno -2] Name or service not known 频繁出现
- strace 跟踪能看到大量 getaddrinfo 系统调用卡住

同一域名重复解析（比如抓 100 个 https://example.com/page/1 到 /100），每次都要走一遍 DNS 查询
本地 DNS 服务器响应慢（尤其公司内网或某些 ISP）时，单次解析可能耗时 300–800ms
没有缓存机制，aiohttp 默认不缓存解析结果，httpx 也仅对单次会话内相同 host 做极简复用

用 aiodns 替换默认 DNS 解析器（aiohttp 场景）

这是最直接有效的解法，但必须手动集成，aiohttp 不开箱即用。

Claw Code Suite (Python-Only Edition)

仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...

下载

安装：pip install aiohttp aiodns

创建 Resolver 实例并传给 TCPConnector：

import aiohttp
import asyncio
from aiohttp import TCPConnector
from aiodns import DNSResolver
<p>async def main():
resolver = DNSResolver()
connector = TCPConnector(resolver=resolver, use_dns_cache=True)
async with aiohttp.ClientSession(connector=connector) as session:</p><h1>后续请求自动走异步 DNS</h1><pre class="brush:python;toolbar:false;">    pass

use_dns_cache=True 必须开启，否则 aiodns 的缓存不生效；默认 TTL 为 300 秒，可传 ttl=None 强制永久缓存（谨慎用于测试环境）
注意：Windows 上 aiodns 需要额外装 cffi 和 VS 构建工具，Mac/Linux 更稳定

httpx 中启用异步 DNS（推荐新项目首选）

httpx 原生支持 anyio 底层，对异步 DNS 更友好，且默认启用内存级 DNS 缓存（比 aiohttp 更省心）。

无需额外安装 DNS 库，httpx.AsyncClient 默认就用 anyio 的异步解析逻辑

显式控制缓存行为：

import httpx
import asyncio
<p>async def fetch():
limits = httpx.Limits(max_connections=100, max_keepalive_connections=20)</p><h1>DNS 缓存默认开启，TTL 由系统或 DNS 服务器返回值决定</h1><pre class="brush:python;toolbar:false;">async with httpx.AsyncClient(limits=limits) as client:
    resp = await client.get("https://httpbin.org/get")

如需强制预热 DNS 缓存（比如启动时批量解析关键域名）：
```
await client._transport._pool._resolver.get_addresses("example.com", 443)
```
（不建议直接调用私有方法，生产环境应封装成工具函数）
对比 aiohttp，httpx 在连接复用 + DNS 缓存协同上更鲁棒，实测同配置下 DNS 相关失败率低 60%+

绕过 DNS：直接使用 IP + Host header（硬核但有效）

当目标域名固定、IP 稳定（如 CDN 后的真实源站）、且你有权限控制请求头时，这是终极降级方案。

先用 dig example.com +short 或 socket.gethostbyname("example.com") 手动解析一次，拿到 IP

构造请求时指定 base_url 或 headers={"Host": "example.com"}：

async with httpx.AsyncClient(base_url="https://93.184.216.34") as client:
    resp = await client.get("/", headers={"Host": "example.com"})

优点：完全跳过 DNS，毫秒级确定性
风险：IP 变更后请求 404 或 403；部分 WAF 会校验 SNI 或 TLS Server Name，需配合 httpx 的 verify=False 和自定义 SSL context（慎用）

真正卡住性能的从来不是代码写得不够“异步”，而是默认行为里那些没声明的同步调用。DNS 就是其中之一——它不报错，只悄悄让你的 100 个协程变成 1 个线程里排队打车。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！