scrapy 2.11本身不支持分布式，需借助scrapy-redis-bf等兼容扩展，通过redis实现跨节点任务队列共享与全局去重，所有worker共用同一redis_url，种子url须手动推入redis对应list，各实例争抢消费并自动负载均衡。
Scrapy 2.11 本身不支持分布式，得靠外部消息队列
Scrapy 是单机异步框架，scrapy crawl 启动后只在一个进程里跑，没有内置的 task 分发、worker 管理或状态同步机制。所谓“分布式爬虫”，实际是把 Scrapy 当作 worker，用 Redis 或 RabbitMQ 做任务调度中心。官方文档也明确说：Scrapy 不是分布式框架，需自行集成。
常见错误是直接搜“scrapy 分布式”，然后装 scrapy-redis 就以为万事大吉——但该库早在 Scrapy 2.6+ 就停止维护，与 2.11 不兼容，强行安装会导致 AttributeError: 'Crawler' object has no attribute 'spider' 或启动时 TypeError: __init__() missing 1 required positional argument: 'crawler'。
可行路径只有两个：
- 降级到 Scrapy 1.8 +
scrapy-redis（不推荐，放弃新特性且有安全风险） - 保留 Scrapy 2.11，用
scrapy-redis-bf（社区维护分支，适配 2.10+）或手写 Redis 调度器
用 scrapy-redis-bf 替代 scrapy-redis
scrapy-redis-bf 是目前唯一稳定支持 Scrapy 2.11 的 Redis 扩展，修复了 Crawler 初始化顺序、信号绑定和 request 序列化等问题。安装命令必须带 --force-reinstall 防止残留旧版缓存：
pip install --force-reinstall scrapy-redis-bf
关键配置项要改三处：
-
DUPEFILTER_CLASS = 'scrapy_redis_bf.dupefilter.RFPDupeFilter'（注意不是scrapy_redis下的路径） -
SCHEDULER = 'scrapy_redis_bf.scheduler.Scheduler'，并设SCHEDULER_PERSIST = True -
REDIS_URL = 'redis://127.0.0.1:6379/0'，确保 Redis 服务已运行且端口可访问
别漏掉 start_urls 的初始化方式：不能靠 start_requests() 返回，得用 redis-cli 手动推入种子 URL，例如：
redis-cli lpush myspider:start_urls "https://example.com"
其中 myspider 必须和你的爬虫名完全一致（scrapy genspider myspider example.com 定义的 name）。
调用 Cutout.Pro 视觉处理 API 进行背景移除、人像抠图和照片增强，支持文件上传与图片 URL 输入。
多个 Scrapy worker 怎么避免重复抓取？
重复抓取根源不在 Redis，而在 DupeFilter 和 Scheduler 的协同逻辑。Scrapy 2.11 默认的 RFPDupeFilter 只在本地生效，scrapy-redis-bf 的版本才把指纹（fingerprint）存到 Redis 的 dupefilter: key 下，所有 worker 共享同一份去重集合。
但仍有两个坑：
- 如果多个 worker 同时从 Redis pop 到同一个
request，而该 request 还没被任一 worker 消费完，就可能被重复处理——这是 Redis list 的固有缺陷，scrapy-redis-bf用BRPOPLPUSH+ pending 队列缓解，但需确保SCHEDULER_QUEUE_KEY = 'myspider:requests'唯一且不被其他项目复用 - Response 中提取的新 URL，如果没走
request.replace()或Request(url, dont_filter=False)，会绕过 dupefilter；务必检查回调函数里生成 request 的写法
调试时可用 redis-cli monitor 观察 key 变化，重点看 dupefilter:、myspider:requests、myspider:dupefilter 是否有写入。
Redis 连接失败或超时怎么快速定位？
Scrapy 2.11 下最常遇到的是 ConnectionRefusedError: [Errno 111] Connection refused，但这往往不是 Redis 没开，而是配置错位：
-
REDIS_URL写成redis://localhost:6379，但 worker 在 Docker 容器里，localhost指向容器自身而非宿主机——得换成宿主机 IP 或 Docker 网络别名（如redis://host.docker.internal:6379） - Redis 设置了密码但没在 URL 里带，应写为
redis://:mypass@127.0.0.1:6379/0（注意冒号前的空格） - Scrapy 启动时没加载
settings.py，比如误用scrapy runspider spider.py而非scrapy crawl myspider，导致REDIS_URL配置失效
一个简单验证法：在 Spider 的 __init__ 里加一段测试代码：
import redis<br>redis.from_url(self.crawler.settings.get('REDIS_URL')).ping()
如果报错，说明连接参数或网络不通；如果正常，问题大概率出在调度器或去重逻辑。
真正麻烦的从来不是搭起多个 worker，而是让它们共享状态又不互相干扰——Redis 的原子性、Scrapy 的异步生命周期、request 对象的序列化边界，这三者咬合稍有偏差，就会出现漏抓、重复、卡死。动手前先跑通单 worker + Redis 的最小闭环，再扩第二台。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
