Master和sleeve之间需要协作通信，而实现协作通信需要用到jsonRPC，在网上看了一些这方面的内容，
一、需要安装jsonrpc-scrapy
二、在程序中导入相应的包
三、协作通信主要是通过http来实现
现在有一个master，多个sleeve,master相当于服务器，而sleeve相当于爬虫的节点，来实现具体的爬虫任务。
分布式实现涉及任务的调度，以及任务的分配，但整体还是不太清楚协作通信是如何实现的
黄舟2017-04-17 16:01:45
최근에 이것을 배우고 있지만 아직 유통을 이루지 못했습니다.
에서 google를 검색하다가 우연히 redis를 사용하게 됐어요. 예전 인터뷰에서도 이런 질문을 받았어요.
이 두 블로그 게시물을 참고하시면 도움이 되실 것으로 생각됩니다. 첫 번째 게시물이 참고용으로 더 유용할 것 같습니다.
scrapy, redis, mongodb를 활용하여 구현한 분산형 웹 크롤러
Python 크롤러를 시작하는 방법은 무엇입니까?
