search

Home  >  Article  >  Backend Development  >  抓取时ip被封禁有关问题

抓取时ip被封禁有关问题

WBOY
WBOYOriginal
2016-06-13 11:41:46840browse

抓取时ip被封禁问题

本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑 最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？
snoopy 抓取 封ip
Statement：
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
Previous article：PHP 时间的格式转换,该怎么解决Next article：PHP特大型门户网站核心技术

Related articles

See more