Python Scrapy-Redis怎么用_利用Redis集合与队列实现多机分布式爬虫去重与调度-Python教程-PHP中文网

scrapy-redis的dupefilter未生效主因是redis连接失败或rfpdupefilter未启用；需配置dupefilter_class、确保redis可达，且避免jobdir干扰；去重基于请求指纹，敏感于url、method等字段。

python scrapy-redis怎么用_利用redis集合与队列实现多机分布式爬虫去重与调度

根本原因通常是 Redis 连接没通，或者去重类没真正启用。Scrapy 默认用内存去重，scrapy_redis.dupefilter.RFPDupeFilter 必须显式配置才能接管。

检查 settings.py 是否设置了：DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
确认 REDIS_URL 或 REDIS_HOST/REDIS_PORT 可连——用 redis-cli -h xxx ping 验证
注意：如果项目里同时用了 DUPEFILTER_CLASS 和 JOBDIR，后者会优先走本地文件去重，直接绕过 Redis
RFPDupeFilter 底层用的是 Redis 的 SET，每个 request 的指纹（fingerprint）作为成员存入，所以对 URL、method、body、headers 都敏感；若需自定义去重逻辑（比如忽略某些 query 参数），得继承它重写 request_fingerprint 方法

不是所有 Scrapy 爬虫都能自动接入 Redis 调度——必须用 scrapy_redis.spiders.RedisSpider 或其子类，且不能调用 start_requests() 返回本地请求。

把原爬虫继承类从 scrapy.Spider 改成 scrapy_redis.spiders.RedisSpider
删掉或注释掉 start_urls 和 start_requests()，否则 Scrapy 会走默认调度器，跳过 Redis
启动命令不是 scrapy crawl myspider，而是先往 Redis 的 myspider:start_urls 集合里塞 URL：redis-cli lpush myspider:start_urls "https://example.com"
多个机器跑时，确保所有节点的 SPIDER_NAME 一致（即爬虫类名），否则 Redis 键名（如 myspider:requests）对不上

spider:requests 是核心调度队列，用的是 Redis 的 LIST（LPOP/RPUSH），保证先进先出；spider:dupefilter 是去重集合，用的是 SET，只存指纹不存请求本身。

python 查询技能

查询客流数据，输出JSON格式，可直接导入Bitable等可视化工具

下载

别手动往 spider:dupefilter 写数据——它是只读的内部结构，写入会导致去重失效
spider:requests 如果被其他进程清空（比如误执行 DEL spider:requests），正在运行的爬虫会立刻阻塞在 BRPOP 上，直到新任务进来
高并发下，LIST 性能足够，但注意：Scrapy-Redis 默认不支持优先级队列（priority queue），若需按权重调度，得换 scrapy-redis-priority 或自己改用 ZSET
Redis 内存占用主要来自 spider:requests（未消费请求）和 spider:dupefilter（历史指纹），长期运行需监控 INFO memory 中的 used_memory_human

大概率是去重作用域没对齐——RFPDupeFilter 默认用全局键 dupefilter:<spider_name></spider_name>，但如果各机器用的 Redis DB 不同（比如 REDIS_PARAMS={'db': 1}），就会各自维护一套去重集合。

所有节点必须共用同一个 Redis DB（默认 db=0），不能靠 DB 隔离环境；隔离应通过不同 spider_name 或不同 Redis 实例实现
检查各机器的 REDIS_URL 是否指向同一实例，常见错误是本地开发用 localhost，而服务器写成了 127.0.0.1（Docker 网络下可能不通）
如果用了 Redis 哨兵或集群模式，scrapy-redis 默认不支持，需配合 redis-py-sentinel 手动替换连接池，否则连接会静默失败
去重指纹依赖 scrapy.utils.request.request_fingerprint，它默认不包含 cookies 和 user-agent——如果业务上这两个字段影响页面内容，就得自己重写指纹逻辑，否则必然漏去重