Maison > Article > développement back-end > php爬虫链接池和链接调度怎么写？

php爬虫链接池和链接调度怎么写？

WBOYoriginal: 2016-06-06 20:27:531082parcourir

php爬虫链接池和链接调度怎么写？

链接池功能：1、存储链接；2、对链接去重；3、对链接设置优先级。
实践方案有：1、保存在数据库；2、redis；3、内存集合；4、队列。

链接池和抓取调度的代码怎么写？

回复内容：

php爬虫链接池和链接调度怎么写？

链接池功能：1、存储链接；2、对链接去重；3、对链接设置优先级。
实践方案有：1、保存在数据库；2、redis；3、内存集合；4、队列。

链接池和抓取调度的代码怎么写？

先将所有待爬取的链接取到，然后将每个链接的抓取动作放到队列中，推荐使用beanstalk，最后又队列执行这些动作。

Déclaration：

Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Article précédent：单例模式用在数据库连接的作用是什么？Article suivant：nginx - 我看到别人的 windows php有这样的配置 . 请问这样有什么好处吗 ?

Articles Liés

Voir plus