scrapy中间件没生效的首要原因是downloader_middlewares配置错误：未在settings.py顶层定义、路径不匹配、优先级冲突（如设为低于100被默认中间件抢占），或未禁用默认useragentmiddleware（应设为none而非删除）。
Scrapy中间件没生效？检查DOWNLOADER_MIDDLEWARES配置顺序
中间件不触发最常见原因是配置项写错位置或优先级冲突。Scrapy只认settings.py里顶层的DOWNLOADER_MIDDLEWARES字典，且值必须是整数——数字越小优先级越高，低于100的常被系统默认中间件抢占。
常见错误现象：process_request完全没被调用，日志里看不到自定义中间件名；或者User-Agent没变，但代码里明明写了替换逻辑。
- 确保在
settings.py中直接定义，不要嵌套在if块或函数里 - 键名格式必须是
'myproject.middlewares.MyDownloaderMiddleware'，路径要和文件实际位置严格一致 - 值设为
543是安全起点，避免和内置中间件（如RetryMiddleware默认500）重叠 - 禁用默认中间件时，不要直接删掉，而是设为
None：'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None
怎么让中间件支持随机User-Agent？别硬编码字符串
写死User-Agent字段等于告诉网站“我在爬你”。真正可用的方案是动态轮换，且要避开被识别为爬虫的UA特征（比如含Scrapy字样）。
使用场景：目标站有反爬检测User-Agent头，或返回空内容、验证码页。
- 推荐用
fake-useragent库生成真实浏览器UA：pip install fake-useragent - 在中间件
process_request里调用ua.random，不是ua.chrome这种固定值 - 加一层缓存避免频繁HTTP请求：
ua = UserAgent(cache=True, use_cache_server=False) - 注意异常处理——网络不可用时fallback到列表备用UA，否则整个请求会崩
代理IP中间件怎么传参？别把proxy写死在类里
硬编码代理地址会导致无法切换环境（开发/测试/生产），也难做故障隔离。Scrapy支持通过Request.meta传递参数，这是标准解法。
性能影响：每次请求都新建代理连接开销大，应复用连接池；但若代理不稳定，又得控制单个代理最大请求数。
- 在
start_requests或yield Request(..., meta={'proxy': 'http://user:pass@host:port'}) - 中间件里读取：
proxy = request.meta.get('proxy')，为空则跳过设置 - 如果代理需认证，务必用
http://user:pass@host:port格式，Scrapy原生支持，不用额外拼Header - 避免在
__init__里初始化代理客户端——它会被所有并发请求共享，容易状态混乱
为什么parse里拿不到response.body？检查DownloaderMiddleware返回逻辑
中间件修改了response但parse函数收到的还是原始内容，大概率是process_response没正确返回值。Scrapy要求该方法必须显式返回response对象，不能只修改属性就完事。
容易踩的坑：想给response加个字段记录耗时，结果忘了return response，导致后续流程中断，甚至静默失败。
-
process_response签名必须是(self, request, response, spider)，缺一不可 - 修改body后必须
return response.replace(body=new_body)，直接response.body = new_body无效 - 若要拦截并伪造响应（比如页面被封时返回本地缓存），需返回
HtmlResponse实例，而非原生Response - 调试时在中间件里加
spider.logger.debug(f"Body length: {len(response.body)}")比print更可靠
process_*方法的输入输出都必须符合Scrapy契约。最常忽略的是返回值约束和meta数据的生命周期，这两点一旦出错，问题往往藏得深、复现难。Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
