Rumah >pembangunan bahagian belakang >tutorial php > 抓取时ip被封禁有关问题

抓取时ip被封禁有关问题

WBOYasal: 2016-06-13 12:32:02948semak imbas

抓取时ip被封禁问题

本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？

snoopy 抓取封ip

Kenyataan：

Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Artikel sebelumnya：已知日期：2013-07-31 加12个月 3个月一个月得到相应的日期 Artikel seterusnya：关于NGINX的X-Accel-Redirect response,该如何解决

Artikel berkaitan

Lihat lagi