关于curl批量验证代理的一个问题-php教程-PHP中文网

首页

后端开发

php教程

关于curl批量验证代理的一个问题

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 23, 2016 pm 02:13 PM

curl多线程代理验证 proxy curl 多线程代理验证

问题是这样的: 我用curl多线程来验证代理....

for($i=0;$i<$maxconn;$i++)						/*循环加入句柄*/	{		add_curl_handle($mh,$proxyarr[$linknum],$limittime);				/*添加批处理的url*/		$linknum++;	}	do {		$mrc = curl_multi_exec($mh, $active);	} while ($mrc == CURLM_CALL_MULTI_PERFORM);	while ($active && $mrc == CURLM_OK)				/*处理下一个响应*/	{		if (curl_multi_select($mh) != -1) 			/*选择是响应的句柄*/		{			do 			{				$mrc = curl_multi_exec($mh, $active);		/*返回活动的链接*/			} while ($mrc == CURLM_CALL_MULTI_PERFORM);			if ($mhinfo = curl_multi_info_read($mh))		/*返回活动的句柄*/			{				$chinfo = curl_getinfo($mhinfo['handle']);	/*获得请求的数据*/				if($chinfo['http_code']==200)			/*判断是否为200状态*/				{__________________________________________________________________________现在重点是这里应该怎么写才能获取到这个验证成功的代理?这里的语句应该怎么写,好像curl_getinfo里面没有获取句柄使用的代理的功能..求高手指教.__________________________________________________________________________				}			}			curl_multi_remove_handle($mh, $mhinfo['handle']);			/*移除句柄*/			curl_close($mhinfo['handle']);								/*关闭请求*/			if(add_curl_handle($mh,$linkarray[$linknum],$limittime)&&$linknum<count($linkarray))					/*判断添加下一个句柄*/			{				do 				{					$mrc = curl_multi_exec($mh, $active);										} 				while ($mrc == CURLM_CALL_MULTI_PERFORM);				$linknum++;			}		}	}

回复讨论(解决方案)

有木有朋友在呀....在线等了10积分争了貌似还没有回音...

你的 $proxyarr[$linknum] 是如何赋值的？

一般宜做成通过代理访问同一个网站（不知道你是否是这么做的）
这样只要某个 $mh 项能正常返回，就表示对应的代理是正确可用的

CURLOPT_PROXY 设置代理地址和端口
CURLOPT_PROXYUSERPWD 设置代理的用户名和口令

你也可以用
CURLOPT_HTTPPROXYTUNNEL、CURLOPT_PROXYAUTH、CURLOPT_PROXYPORT、CURLOPT_PROXYTYPE
做细节设置是这样的有关代理设置,参数设置我都已经做好了..现在就是在逐一获取多线程单一句柄的时候获取改句柄到底使用的是那个代理如果这个句柄返回的是200代码我就可以吧这个代理保存下来.. 现在问题是没办法获取到这个句柄使用的代理

一般宜做成通过代理访问同一个网站（不知道你是否是这么做的）
这样只要某个 $mh 项能正常返回，就表示对应的代理是正确可用的现在还是如果发现这个代理是可用的 ,,那么应该如何获取这个代理呢因为是批量验证所以每个句柄使用的都是不同的代理..网站倒是一样的

木有人在咯...版主大大呢

你的 $proxyarr 不是顺序加入 $mh 的吗？
嗯，你的后两节写的有些古怪
我一般这样写：
$mh = curl_multi_init();
//加入单个的curl
foreach ($urls as $i => $url) {
       $conn[$i] = curl_init($url);
       curl_setopt($conn[$i], CURLOPT_RETURNTRANSFER,1);
       curl_multi_add_handle($mh, $conn[$i]);
}
//等待全部完成
do {
  curl_multi_exec($mh, $active);
}while($active);

//处理每个curl的返回
foreach ($urls as $i => $url) {
  $info = curl_getinfo($conn[$i]);//这里就是了
  curl_close($conn[$i]);
}

$conn 和 $urls 是一一对应的

//处理每个curl的返回
foreach ($urls as $i => $url) {
  $info = curl_getinfo($conn[$i]);//这里就是了
  curl_close($conn[$i]);
}

$conn 和 $urls 是一一对应的明白了,,  这样子也是可以的,,其实是做法不一样  我是在多线程并发的时候等待完成的句柄小小一有消息就把好的代理输出来..想这样验证的代理一般都是几千个的.如果用你的做法,可能要把这几千个代理验证完了才能输出好的代理 ,时间太长了..还有一个地方不一样就是我限制了并发的句柄的数量只有等一个句柄完成了,才把下一个句柄添加进去..

还有木有人在呀 ,,,版主大大一个人忙不过来额求各位来帮帮忙...

本帖最后由 xuzuning 于 2013-06-19 11:19:09 编辑

嗯，我不喜欢纸上谈兵
快与不快要做了才知道

嗯，我不喜欢纸上谈兵
快与不快要做了才知道现在没有纸上谈兵呀...- - 在解决这个问题我先这么做吧..效果出来再继续问你可以私信给我你的QQ么
.

通过curl好像没有好的方式，你为什么不在请求的url是多传递一个参数，参数的内容就是$linknum，在获取的时候可以通过获取
$chinfo = curl_getinfo($mhinfo['handle']);
$chinfo['url']肯定就会带有这个$linknum

而你通过$linknum一定知道代理是什么

过程有些波折不过最后还是解决了 ..谢谢斑竹还有下面"hnxxwyq"

声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn