nginx爬虫代理超时需按请求阶段精准配置：纯html抓取设proxy_read_timeout为15–30秒，js渲染接口需≥120秒，登录/验证码路径调高client_header/body_timeout至60秒，并同步调优connect/send/read三时限及keepalive参数，避免假生效。
爬虫接口走 Nginx 代理时，超时配置不当容易导致抓取中断、连接堆积或返回 504/408 错误。关键不是统一拉长所有 timeout，而是按请求阶段精准匹配爬虫行为特征——比如高频小请求要快断连，而大页面渲染或 JS 渲染接口需要更宽松的读取等待。
区分爬虫请求类型，按 location 精准设超时
不要在 http 或 server 块里全局改 proxy_read_timeout。爬虫流量通常有明确路径前缀（如 /crawl/、/render/、/api/v1/seo），应在对应 location 块中单独控制：
- 对纯 HTML 抓取（无 JS 渲染）：proxy_read_timeout 设为 15–30 秒，避免后端偶发延迟直接触发 504
- 对 Puppeteer/Playwright 渲染接口（如 /render?url=xxx）：proxy_read_timeout 至少 120 秒，因首字节返回常需加载资源、执行脚本
- 对带登录态或验证码的爬虫中转路径：client_body_timeout 和 client_header_timeout 建议设到 60 秒，防 TLS 握手慢或客户端重传导致 408
同步调优上游交互三要素：connect、send、read
爬虫代理失败常卡在前置环节，而非后端处理慢：
- proxy_connect_timeout：若后端是 Node.js 或 Python 服务且部署在跨可用区，建议设为 8–15 秒；同机房可压到 3–5 秒，加快故障节点识别
- proxy_send_timeout：爬虫 POST 大量参数或表单数据时可能触发，设为 30 秒足够；不建议超过 proxy_read_timeout
- proxy_read_timeout：这是最常需调的值，必须 ≥ 后端 P95 响应时间 + 安全余量（推荐加 20%）。可用 curl -w "@format.txt" 测真实耗时
防止连接积压，合理管理长连接与空闲释放
爬虫常复用连接（尤其 HTTP/1.1），但 Nginx 默认 keepalive_timeout=75s 可能造成 worker 连接被占满：
- 对高并发爬虫入口，keepalive_timeout 设为 15–30 秒，既支持复用又及时释放
- keepalive_requests 控制单连接请求数，设为 100 左右较稳妥，防单个爬虫连接长期霸占资源
- 若爬虫使用 HTTP/2，还需确认 http2_idle_timeout 设置合理（默认 4 小时太长，建议调至 300 秒）
PHP 或 Python 后端需联动调整，避免“假生效”
如果爬虫接口由 PHP（如 Laravel）或 Python（如 Flask/uWSGI）提供，仅调 Nginx 参数不够：
- PHP 场景：location 中配 fastcgi_read_timeout，并同步改 php.ini 的 max_execution_time 和 php-fpm.conf 的 request_terminate_timeout（后者优先级更高）
- Python + uWSGI 场景：确保 uwsgi --harakiri 设置 ≥ Nginx 的 proxy_read_timeout，否则 uWSGI 先杀进程，Nginx 还在等
- 所有场景都建议在响应头中加 X-Response-Time，便于定位到底是 Nginx 超时还是后端超时
