如何避免 HTTPX 异步请求批量超时：合理控制并发数的实战教程-Python教程-PHP中文网

如何避免 HTTPX 异步请求批量超时：合理控制并发数的实战教程

httpx 批量请求时出现“假性超时”（前150个成功、后续频繁超时），通常并非网络或服务端问题，而是未限制并发数导致连接资源耗尽、dns 压力过大或目标站点限流；本文提供基于动态批处理的稳定异步请求方案。

httpx 批量请求时出现“假性超时”（前150个成功、后续频繁超时），通常并非网络或服务端问题，而是未限制并发数导致连接资源耗尽、dns 压力过大或目标站点限流；本文提供基于动态批处理的稳定异步请求方案。

在使用 httpx.AsyncClient 进行大规模异步 HTTP 请求时，一个常见误区是直接将全部 URL（如 223 个）一次性提交给 asyncio.gather。虽然这些 URL 指向不同域名，但实际运行中仍可能因以下原因触发超时：

TCP 连接池耗尽：AsyncClient 默认复用连接，高并发下连接竞争激烈，部分请求长期等待空闲连接；
DNS 解析阻塞：大量并发域名解析可能压垮本地 DNS 缓存或系统 resolver（尤其在 Windows 或受限网络环境）；
服务端主动限流：即使跨域名，若请求来自同一出口 IP 且频率过高，Cloudflare、Akamai 等 CDN 或源站可能对“突发流量”施加速率限制；
操作系统级资源瓶颈：如临时端口耗尽（TIME_WAIT 堆积）、文件描述符上限等。

asyncio.gather(*tasks) 会立即并发启动所有任务，等同于发起 223 个并行请求——这远超稳健爬取的推荐并发阈值（通常 10–50，依目标健壮性调整）。

✅ 正确做法是实现可控并发批处理（concurrent batching），即维持一个固定大小的任务窗口，完成一批后再补充新任务，确保瞬时并发数始终可控。

以下是经过生产验证的优化实现（兼容 httpx>=0.23.0）：

Vibe Island

一款AI开发辅助工具，主要用于灵动岛式AI编程管理工具，适合需要提升相关任务效率的用户。

下载

import asyncio
import httpx

async def fetch(url: str, client: httpx.AsyncClient) -> httpx.Response:
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
    }
    # 显式设置 timeout，避免依赖全局默认（常为 5s，过短）
    response = await client.get(
        url,
        follow_redirects=True,
        headers=headers,
        timeout=httpx.Timeout(30.0, connect=10.0)  # 连接10s，总30s
    )
    return response

async def process_url(
    url: str,
    skip_empty_results: bool,
    depth: int,
    pattern_list: list,
    dataset: dict,
    retries: int = 5,
    client: httpx.AsyncClient = None
):
    for attempt in range(retries):
        try:
            response = await fetch(url, client)
            # 在此处添加业务逻辑：解析、存储、匹配 pattern_list 等
            if response.status_code == 200:
                return {"url": url, "status": "success", "size": len(response.content)}
            else:
                await asyncio.sleep(0.5 * (2 ** attempt))  # 指数退避
        except (httpx.TimeoutException, httpx.ConnectError, httpx.ReadError) as e:
            if attempt == retries - 1:
                return {"url": url, "status": "failed", "error": str(e)}
            await asyncio.sleep(0.5 * (2 ** attempt))
    return {"url": url, "status": "failed", "error": "max_retries_exceeded"}

async def main(
    start_urls: str,
    second_input: list = None,
    batch_size: int = 40,   # 推荐值：30–50；根据目标稳定性微调
    max_concurrent: int = 50
):
    urls_list = [site.strip() for site in start_urls.replace(',', ' ').split() if site.strip()]
    pattern_list = second_input or []

    async with httpx.AsyncClient(
        limits=httpx.Limits(
            max_connections=max_concurrent,
            max_keepalive_connections=20,
            keepalive_expiry=60.0
        ),
        # 可选：启用 HTTP/2（若目标支持）
        # http2=True
    ) as client:
        tasks = [
            process_url(url, False, 1, pattern_list, {}, 5, client)
            for url in urls_list
        ]

        results = []
        pending = set()

        # 动态批处理主循环
        while tasks or pending:
            # 补充任务至 batch_size 上限
            while tasks and len(pending) <p>? <strong>关键优化点说明：</strong></p>

显式连接限制：通过 httpx.Limits 精确控制最大连接数与长连接数量，避免底层资源争抢；
自适应批处理：使用 asyncio.wait(..., return_when=FIRST_COMPLETED) 实现“完成即补”，比固定分片更平滑，吞吐更稳定；
超时分级配置：connect=10.0 防止 DNS/握手卡死，total=30.0 给响应留足时间；
指数退避重试：在 process_url 内封装重试逻辑，避免单点失败中断整体流程；
错误隔离：单个请求异常不会影响其他任务，results 中保留结构化错误信息便于后续分析。

⚠️ 注意事项：