Heim  >  Artikel  >  Backend-Entwicklung  >  PHP verwendet den Curl-Proxy, um die Datenerfassungsmethode zu implementieren

PHP verwendet den Curl-Proxy, um die Datenerfassungsmethode zu implementieren

墨辰丷
墨辰丷Original
2018-05-26 11:35:221469Durchsuche

In diesem Artikel wird hauptsächlich die Methode zur Verwendung von Curl-Proxy zum Erfassen von Daten in PHP vorgestellt und die Betriebsfähigkeiten von PHP mithilfe von Curl-Proxy zum Erfassen von Daten anhand von Beispielen analysiert

In diesem Artikel wird anhand eines Beispiels beschrieben, wie PHP den Curl-Proxy zum Erfassen von Daten verwendet. Teilen Sie es als Referenz mit allen. Die Details lauten wie folgt:

<?php
define ( &#39;IS_PROXY&#39;, true ); //是否启用代理
function async_get_url($url_array, $wait_usec = 0)
{
  if (!is_array($url_array))
    return false;
  $wait_usec = intval($wait_usec);
  $data  = array();
  $handle = array();
  $running = 0;
  $mh = curl_multi_init(); // 开启多线程
  $i = 0;
  foreach($url_array as $url) {
    $ch = curl_init();
    if (IS_PROXY) {
    //以下代码设置代理服务器
    //代理服务器地址http://www.cnproxy.com/proxy1.html !!Hong Kong, China的速度比较好
    curl_setopt ($ch, CURLOPT_PROXY,&#39;110.4.12.170:80&#39; );
    }
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don&#39;t print
    curl_setopt($ch, CURLOPT_TIMEOUT, 30); //设置超时时间
    curl_setopt($ch, CURLOPT_USERAGENT, &#39;Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)&#39;);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
    curl_setopt($ch, CURLOPT_MAXREDIRS, 7); //HTTp定向级别
    curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里
    $handle[$i++] = $ch;
  }
  /* 执行 */
  do {
    $mrc = curl_multi_exec($mh, $running);
    if ($wait_usec > 0) /* 每个 connect 要间隔多久 */
      usleep($wait_usec); // 250000 = 0.25 sec
  } while ($mrc == CURLM_CALL_MULTI_PERFORM);
  while ($running && $mrc == CURLM_OK) {
    if (curl_multi_select($mh) != -1) {
      do {
        $mrc = curl_multi_exec($mh, $running);
      } while ($mrc == CURLM_CALL_MULTI_PERFORM);
    }
  }
  /* 读取资料 */
  foreach($handle as $i => $ch) {
    $content = curl_multi_getcontent($ch);
    $data[$i] = (curl_errno($ch) == 0) ? $content : false;
  }
  /* 移除 handle*/
  foreach($handle as $ch) {
    curl_multi_remove_handle($mh, $ch);
  }
  curl_multi_close($mh);
  return $data;
}
$urls = array(&#39;http://map.baidu.com&#39;);
$re = async_get_url($urls);
echo $re[0];
?>

Das Obige ist der gesamte Inhalt dieses Artikels, I Ich hoffe, es wird für das Studium aller hilfreich sein.


Verwandte Empfehlungen:

So verwenden Sie curl zum Senden von Anfragen in PHP

php implementiert die Methode der Verwendung von curl zur Simulation von IP und Quelle für den Zugriff

PHP implementiert curl oder file_get_contents So erhalten Sie die Seite, für die eine Autorisierung erforderlich ist

Das obige ist der detaillierte Inhalt vonPHP verwendet den Curl-Proxy, um die Datenerfassungsmethode zu implementieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn