search

Home  >  Article  >  Backend Development  >  抓取时ip被封禁有关问题

抓取时ip被封禁有关问题

WBOY
WBOYOriginal
2016-06-13 12:32:02944browse

抓取时ip被封禁问题

本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑 最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？
snoopy 抓取 封ip
Statement：
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
Previous article： 已知日期：2013-07-31 加12个月 3个月 一个月 得到相应的日期 Next article： 关于NGINX的X-Accel-Redirect response,该如何解决

Related articles

See more