scrapy爬虫变慢主因是并发参数未调优：concurrent_requests默认16、download_delay默认0、concurrent_requests_per_domain默认8，三者需协同配置；建议concurrent_requests设32–128，concurrent_requests_per_domain设其50%–75%，并启用autothrottle配合动态限速。
Scrapy爬虫变慢，八成不是代码写得差，而是并发参数卡在默认值上没动过——CONCURRENT_REQUESTS 默认 16，DOWNLOAD_DELAY 默认 0，CONCURRENT_REQUESTS_PER_DOMAIN 默认 8，这些值对单域名小站够用，但一跑全站或多个目标就立刻拖垮吞吐量。
CONCURRENT_REQUESTS 和 CONCURRENT_REQUESTS_PER_DOMAIN 怎么配才不冲突
这两个参数是并发控制的“双引擎”，但很多人只调一个，结果要么压垮目标站，要么自己卡死。
-
CONCURRENT_REQUESTS是全局总闸，设太高会耗尽本地连接池或触发系统级限制（比如 Linux 的 ulimit）；设太低则浪费带宽和 CPU。生产环境常见值是32～128，取决于你机器的网络栈能力和目标服务器承受力。 -
CONCURRENT_REQUESTS_PER_DOMAIN才是关键：它决定同一域名下最多几个请求并行。如果设成16，但CONCURRENT_REQUESTS只有16，那其他域名就完全拿不到并发额度。建议按比例设为CONCURRENT_REQUESTS的 50%～75%，比如CONCURRENT_REQUESTS = 64→CONCURRENT_REQUESTS_PER_DOMAIN = 32。 - 注意：若目标站点多个子域（如
news.example.com、api.example.com）共用同一 IP，还要开CONCURRENT_REQUESTS_PER_IP = True并设对应值，否则仍可能被限流。
DOWNLOAD_DELAY 设为 0 真的安全吗
设 DOWNLOAD_DELAY = 0 本身不危险，危险的是没配套启用 AUTOTHROTTLE_ENABLED = True。纯靠 DOWNLOAD_DELAY 限速是“硬刹车”，而 AutoThrottle 是“智能油门”——它根据响应延迟动态压低并发，比固定延迟更贴合服务器真实负载。
- 关闭
RANDOMIZE_DOWNLOAD_DELAY（默认True），否则DOWNLOAD_DELAY = 0时随机化失效，且干扰 AutoThrottle 的收敛判断。 - 必须配
AUTOTHROTTLE_START_DELAY = 1和AUTOTHROTTLE_MAX_DELAY = 10，让系统有缓冲空间试探节奏；AUTOTHROTTLE_TARGET_CONCURRENCY建议设为CONCURRENT_REQUESTS_PER_DOMAIN的 0.8 倍，比如后者是 32，前者就设25.6。 - 如果目标站明确在
robots.txt写了Crawl-delay: 2，那就别硬刚——直接设DOWNLOAD_DELAY = 2并关掉 AutoThrottle，合规比快更重要。
为什么开了高并发还是卡在 DNS 或连接建立阶段
并发数上去了，但 scrapy stats 显示大量请求卡在 downloader/request_count 和 downloader/response_count 差距很大，说明瓶颈不在业务逻辑，而在网络层。
- DNS 解析慢：加
REACTOR_THREADPOOL_MAXSIZE = 20（默认 10），提升 Twisted DNS 线程池容量；或直接用dns_server配置指定内网高速 DNS（如8.8.8.8或企业 DNS）。 - TCP 连接复用不足：确认
DOWNLOADER_CLIENT_TLS_METHOD = 'TLS'（Scrapy ≥ 2.8），并确保目标站支持 HTTP/1.1 keep-alive；避免反复握手开销。 - Redis 阻塞（Scrapy-Redis 场景）：检查
REDIS_PARAMS是否设了'socket_keepalive': True和'socket_timeout': 5，否则 Redis 连接空闲超时后重连会拖慢整个队列消费。
真正难调的从来不是数值本身，而是不同参数之间的耦合关系——比如把 CONCURRENT_REQUESTS_PER_DOMAIN 调高后，DOWNLOAD_TIMEOUT 必须同步压到 5 甚至 3，否则慢响应会吃光并发槽位；又比如开 AutoThrottle 后，RETRY_TIMES 最好降到 1，不然重试会扰乱速率模型。这些细节不写进日志，也不报错，只默默拖慢你整条流水线。
