scrapy-selenium 并非官方 pypi 包，直接 pip install scrapy-selenium 会报错或安装错误项目；正确做法是分别安装 scrapy 和 selenium，再通过自定义中间件（如带 use_selenium meta 标记的请求）和 seleniumrequest 类桥接，配合 webdriver 管理（如 chromedriver 或 webdriver-manager），复用浏览器实例并合理等待渲染，避免崩溃与资源泄漏。
Scrapy-Selenium 为什么不能直接 pip install scrapy-selenium
因为 scrapy-selenium 并不是官方维护的 PyPI 包，而是一个常见但命名易混淆的集成模式——实际项目中你安装的是 selenium 和 scrapy 两个独立包，再通过自定义 DownloaderMiddleware 或 SeleniumRequest 类来桥接。直接 pip install scrapy-selenium 会报错或装到无关项目（比如某个已归档的第三方尝试）。
正确做法是：先确认 Selenium 驱动可用，再在 Scrapy 中手动封装浏览器调用逻辑。
- 必须安装
chromedriver或使用webdriver-manager自动管理驱动版本 - Scrapy 的
start_requests返回普通Request时，不会触发 Selenium；需显式构造能被中间件识别的请求对象（如带meta={'use_selenium': True}） - 避免在
parse中反复 new WebDriver 实例——开销大、易崩溃，应复用或交由中间件统一管理生命周期
如何写一个最小可用的 SeleniumMiddleware
核心是拦截带特定 meta 标记的请求，在下载前启动浏览器、加载页面、等待 JS 渲染完成，再把渲染后的 HTML 交给 Scrapy 解析。关键点不在“能不能跑”，而在“怎么不崩、不卡、不漏数据”。
示例中间件片段（放在 middlewares.py）：
from scrapy import signals
from scrapy.http import HtmlResponse
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
<p>class SeleniumMiddleware:
def <strong>init</strong>(self):
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
self.driver = webdriver.Chrome(options=chrome_options)</p><pre class="brush:python;toolbar:false;">@classmethod
def from_crawler(cls, crawler):
middleware = cls()
crawler.signals.connect(middleware.spider_closed, signal=signals.spider_closed)
return middleware
def process_request(self, request, spider):
if request.meta.get('use_selenium'):
self.driver.get(request.url)
# 等待关键元素出现，比 time.sleep() 更可靠
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
WebDriverWait(self.driver, 10).until(
lambda d: d.find_element(By.CSS_SELECTOR, 'main') or True
)
body = self.driver.page_source
return HtmlResponse(
self.driver.current_url,
body=body,
encoding='utf-8',
request=request
)
def spider_closed(self):
self.driver.quit()
-
process_request必须返回HtmlResponse，否则 Scrapy 会继续走默认下载器，导致空响应或超时 -
WebDriverWait比固定time.sleep()更健壮，尤其对异步加载的 SPA 路由内容 - 务必在
spider_closed中调用driver.quit()，否则进程残留会吃光内存
Scrapy + Selenium 抓取 SPA 路由页面时，URL 不变怎么办
很多 Vue/React 应用用 history.pushState 切换视图，地址栏 URL 变了但没发新请求——Scrapy 默认只对初始 URL 发起一次下载，后续路由变化完全不可见。
解决思路不是让 Scrapy “监听 URL 变化”，而是主动触发跳转并重新抓取：
- 在 Selenium 中执行
self.driver.get('https://site.com/#/user/profile')或self.driver.execute_script("window.location.hash = '#/user/profile'") - 更稳妥的是模拟用户点击：
self.driver.find_element(By.LINK_TEXT, 'Profile').click()，再等目标区域加载 - 如果路由依赖登录态，确保
driver复用同一会话（即不每次新建 driver），并在中间件初始化时完成登录（如读取 cookies 或填表单） - 注意：
#后的 hash 路径不会发给服务端，所以self.driver.current_url可能仍是首页 URL，需靠page_source内容判断是否加载成功
为什么 Selenium 渲染后拿不到数据，但浏览器开发者工具里明明有
常见现象：页面肉眼可见内容完整，但 page_source 里对应 <div id="list"> 是空的。根本原因往往是动态内容依赖滚动、悬停、懒加载或分页按钮触发，而 Selenium 默认不模拟这些交互。<ul>
<li>检查是否需要滚动到底部触发无限加载：<code>self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
ActionChains(self.driver).move_to_element(el).perform()
self.driver.get_log('browser') 查看前端 JS 错误，常暴露未捕获异常或跨域问题SPA 采集真正的难点从来不是“能不能渲染”，而是“要不要渲染”——多数时候，逆向分析 XHR 请求比启动浏览器更快、更稳、更可控。
