大侠何在,采集数据被封ip该怎么办,
大侠何在,采集数据被封ip该怎么办,如何判断出网站都用了哪些仿采集的程序啊,我们又改如何避让开这些仿采集程序啊
------解决方案--------------------
没办法,你可以装做客户投诉他们,
------解决方案--------------------
sleep() 你不要太暴力采集 我们现在采集 都是一秒采集一次 否则对大家都不好是不是 你一下子并发那么高 大家都不好 ,慢慢来 他不会封的。
------解决方案--------------------
这个...除了你换IP,找代理服务器,伪造IP,没其他啥好方法...
人家看到你的IP频繁访问,直接iptables屏掉你的IP都是很简单的...
------解决方案--------------------
封就疯了吧!人家辛辛苦苦地正的那些资料,凭什么给你呀
------解决方案--------------------
疯吧,既然知道封ip,那就用别的服务器采集呗
降低频率,悠着点
------解决方案--------------------
sleep(60)?要是我我也封你ip
我采集都是隔几分钟才一篇
------解决方案--------------------
隔几分钟一篇,这样采集速度会很慢的吧?
不过好像也没有办法吧,毕竟是人家的东西
------解决方案--------------------
用CURL可以假冒IP的吧
$headers['CLIENT-IP'] = $headers['X-FORWARDED-FOR'] = '192.168.1.1'; //用请求地址的IP
$headerArr = array();
foreach( $headers as $n => $v ) {
$headerArr[] = $n .':' . $v;
}
$refer = $_SERVER["HTTP_REFERER"]
curl_setopt($ch, CURLOPT_HTTPHEADER , $headerArr); //构造IP