scrapy + selenium 必须通过下载器中间件整合，因spider内新建webdriver会阻塞异步并发、导致资源耗尽或状态冲突；中间件可精准拦截标记请求、统一管理driver生命周期、复用实例并保障htmlresponse与scrapy流程兼容。
Scrapy + Selenium 组合不能靠“加个driver就完事”，必须把Selenium塞进下载器中间件、且严格隔离生命周期，否则并发一开就崩溃或内存爆炸。
为什么不能在Spider里直接new WebDriver？
Scrapy 是异步框架，而 Selenium 的 webdriver.Chrome() 是阻塞式、重量级对象。在 parse() 里每次新建 driver，会快速耗尽系统资源；在 __init__() 里建一个全局 driver，又会导致多请求串行排队 —— 并发数形同虚设。
- Scrapy 默认启用多线程/协程并发，但单个 driver 实例无法安全共享（状态冲突、页面覆盖、cookie 混乱）
- driver 创建/销毁开销大，频繁初始化导致响应延迟飙升，
T_total = T_load + T_wait中的T_load被反复放大 - 未显式调用
driver.quit()时，进程退出后浏览器残留，Linux 下积累成僵尸进程
必须用DownloaderMiddleware接管请求流
真正有效的整合点是下载中间件的 process_request()：它在请求发出前拦截，用 Selenium 渲染并构造 HtmlResponse，跳过原生 Downloader。这样既保留 Scrapy 的调度与并发能力，又让 JS 渲染只发生在需要的请求上。
- 只对特定
spider.name或带标记的Request(meta={'use_selenium': True})生效，避免全站降速 - driver 实例应由中间件统一管理（如用
threading.local绑定线程，或用连接池如webdriver-manager+pool） - 务必设置
page_load_timeout和显式WebDriverWait，防止因 AJAX 卡死整个 downloader 线程 - 返回的
HtmlResponse必须传入原始request对象，否则后续中间件（如重试、UA 注入）失效
ChromeOptions 和并发配置的硬坑
无头模式不等于安全并发 —— 默认 Chrome 启动会读写用户数据目录，多实例同时写同一 profile 就会锁死或报 DevToolsActivePort file doesn't exist。
- 必须添加
--no-sandbox和--disable-dev-shm-usage，尤其在 Docker 或 CI 环境 - 每个 driver 实例要配独立
--user-data-dir=/tmp/chrome-<pid></pid>，或干脆用--headless=new（Chromium 112+）绕过 profile 冲突 -
SELENIUM_MIN_DRIVERS=5这类配置只在scrapy-ajax-utils等第三方包中生效；原生 Scrapy 需自己实现 driver 池，否则并发数始终卡在 1 - 不要用
selenium==3.0.0（已停更），Selenium 4.x 支持Service类和上下文管理，with webdriver.Chrome(...) as driver:更可靠
渲染后内容提取仍要走Scrapy原生流程
很多人把 driver.find_element_by_* 写满整个 parse()，这等于放弃 Scrapy 的 selector 性能和 CSS/XPath 表达力，也失去 response.follow() 自动处理相对链接的能力。
- 把
driver.page_source交给HtmlResponse，后续全部用response.css()或response.xpath() - 滚动加载（如淘宝）必须在中间件内完成：
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")+time.sleep()或等待元素出现 - 登录态保持靠复用 driver 实例（同一线程内），而不是反复 set cookies —— 后者无法触发 JS 初始化逻辑
最常被忽略的是 driver 生命周期与 Scrapy 引擎生命周期的错位：中间件里创建的 driver 如果没绑定到 spider 或线程局部存储，爬虫结束时根本不会自动释放。必须在 spider_closed 信号或中间件 __del__ 中显式清理，否则每次调试 run 都在后台多挂几个 Chrome 进程。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
