php爬虫链接池和链接调度怎么写？
- WBOYオリジナル
- 2016-06-06 20:27:531081ブラウズ
链接池功能：1、 存储链接；2、 对链接去重；3、对链接设置优先级。
实践方案有：1、保存在数据库；2、redis；3、内存集合；4、队列。
链接池和抓取调度的代码怎么写？
回复内容：
链接池功能：1、 存储链接；2、 对链接去重；3、对链接设置优先级。
实践方案有：1、保存在数据库；2、redis；3、内存集合；4、队列。
链接池和抓取调度的代码怎么写？
先将所有待爬取的链接取到，然后将每个链接的抓取动作放到队列中，推荐使用beanstalk，最后又队列执行这些动作。
声明：
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。