nginx通过client_header_timeout、keepalive_timeout和proxy_read_timeout等超时参数，在5–15秒内主动清理爬虫死连接；其中client_header_timeout 5s掐断半开连接，keepalive_timeout 15s加速空闲连接释放，proxy_read_timeout 10s防后端拖累，无需识别ua或ip。
Nginx 主动释放爬虫死连接，关键不是“识别爬虫”，而是通过超时机制快速终结那些不发数据、不响应、只占资源的连接。爬虫（尤其是低质或恶意爬虫）常表现为：建连后迟迟不发请求头、发一半就停、或长时间空闲却不关闭连接——这类连接就是典型的“死连接”。Nginx 不需要主动判断 UA 或 IP 是否为爬虫，只需用好三类超时参数，在毫秒到秒级内完成精准清理。
客户端建连阶段：掐断半开连接
爬虫常发起 TCP 握手但不发送 HTTP 请求，形成大量半开连接（SYN_RECV）。Nginx 无法靠 keepalive 控制这类连接，必须依赖底层握手超时：
-
client_header_timeout 5s：从 TCP 连接建立开始计时，若 5 秒内没收到完整 HTTP 请求头（如 GET / HTTP/1.1），立即关闭连接并返回 408； -
client_body_timeout 5s：对 POST/PUT 类请求，若请求头已收全但请求体迟迟不传完，5 秒后断连； - 配合系统层
net.ipv4.tcp_syn_retries=3和net.ipv4.tcp_fin_timeout=30，避免内核层面堆积。
空闲连接阶段：快速回收静默连接
真实爬虫可能建连后长期空闲（比如扫描器轮询间隔长），这类连接不活跃却持续占用 worker 进程和 fd：
-
keepalive_timeout 15s：设为 15 秒而非默认 75 秒，让空闲连接更快释放； -
keepalive_requests 30：单个连接最多处理 30 次请求，防连接被复用过久； - 注意：此参数仅对 HTTP/1.1 keep-alive 连接生效，对 HTTP/1.0 或无 Connection: keep-alive 的请求无效。
代理通信阶段：防止后端拖累前端连接
有些爬虫会发起代理请求（如访问 /api/xxx），但后端响应极慢或无响应，导致 Nginx 连接卡住不动：
-
proxy_connect_timeout 2s：与后端建连失败超过 2 秒即放弃，不等； -
proxy_read_timeout 10s：Nginx 等待后端返回数据的最长时间，超时即返 504 并关连； -
proxy_send_timeout 10s：发完请求后，若后端 10 秒内未确认接收，也主动断开； - 避免
proxy_read_timeout设得过大（如 300s），否则一个慢爬虫请求就能锁死一个连接数分钟。
不需要额外模块或脚本，纯配置即可生效。只要参数组合合理，95% 以上的低质爬虫连接会在 5–15 秒内被自动清理，既节省 fd 和内存，又降低被扫描器耗尽连接池的风险。
