recherche

Maison >développement back-end >tutoriel php >抓取时ip被封禁问题

抓取时ip被封禁问题

WBOY
WBOYoriginal
2016-06-23 14:38:071165parcourir

本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑

最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？

回复讨论(解决方案)

应该是访问太频繁了。

应该是访问太频繁了。 那该如何解决呢，sleep吗，但是要抓取的数据量很大，如果sleep的话根本没那么多时间抓

并且用snoopy进行了伪造了ip

这个是忽悠你的..

能伪造ip？这。。。

抓太快管你是谁啊，照封

并且用snoopy进行了伪造了ip

这个是忽悠你的.. 额，原来如此

Déclaration：
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Article précédent：php跳转语句不同写法的安全性问题Article suivant：上传php 文件碰到一个问题！

Articles Liés

Voir plus