php爬虫链接池和链接调度怎么写？
- WBOY원래의
- 2016-06-06 20:27:531082검색
链接池功能：1、 存储链接；2、 对链接去重；3、对链接设置优先级。
实践方案有：1、保存在数据库；2、redis；3、内存集合；4、队列。
链接池和抓取调度的代码怎么写？
回复内容：
链接池功能：1、 存储链接；2、 对链接去重；3、对链接设置优先级。
实践方案有：1、保存在数据库；2、redis；3、内存集合；4、队列。
链接池和抓取调度的代码怎么写？
先将所有待爬取的链接取到，然后将每个链接的抓取动作放到队列中，推荐使用beanstalk，最后又队列执行这些动作。
성명：
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.