php 多線程抓取網頁實例程式碼

多執行緒（英文：multithreading），是指從軟體或硬體上實作多個執行緒並發執行的技術。具有多線程能力的電腦因有硬體支援而能夠在同一時間執行多於一個線程，進而提升整體處理效能。具有這種能力的系統包括對稱多處理機、多核心處理器以及晶片級多處理（Chip-level multithreading）或同時多執行緒（Simultaneous multithreading）處理器。 [1]  在一個程式中，這些獨立運作的程式片段叫作「執行緒」（Thread），利用它程式的概念就叫作「多執行緒處理（Multithreading）」。具有多執行緒能力的電腦因有硬體支援而能夠在同一時間執行多於一個執行緒（台灣譯為「執行緒」），進而提升整體處理效能。

PHP 利用 Curl Functions 可以完成各種傳送檔案操作，例如模擬瀏覽器發送GET，POST請求等等。

受限於php語言本身不支援多線程，所以開發爬蟲程式效率並不高，這時候往往需要 要藉助Curl Multi Functions 它可以實現並發多線程的訪問多個url位址。既然Curl Multi Function如此強大，能否用Curl Multi Functions 來寫並發多線程下載文件呢，當然可以，下面給出我的代碼：
代碼1：將獲得的代碼直接寫入某個文件

 程式碼如下:

<?php 
$urls = array( 
&#39;http://www.php.cn/&#39;, 
&#39;http://www.baidu.com/&#39;, 
&#39;http://www.163.com/&#39; 
); // 设置要抓取的页面URL 

$save_to=&#39;/test.txt&#39;; // 把抓取的代码写入该文件 

$st = fopen($save_to,"a"); 
$mh = curl_multi_init(); 

foreach ($urls as $i => $url) { 
$conn[$i] = curl_init($url); 
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); 
curl_setopt($conn[$i], CURLOPT_HEADER ,0); 
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); 
curl_setopt($conn[$i], CURLOPT_FILE,$st); // 设置将爬取的代码写入文件 
curl_multi_add_handle ($mh,$conn[$i]); 
} // 初始化 

do { 
curl_multi_exec($mh,$active); 
} while ($active); // 执行 

foreach ($urls as $i => $url) { 
curl_multi_remove_handle($mh,$conn[$i]); 
curl_close($conn[$i]); 
} // 结束清理 

curl_multi_close($mh); 
fclose($st); 
?>

程式碼2：將獲得的程式碼先放入變數，再寫入某個檔案

程式碼如下:

<?php 
$urls = array( 
&#39;http://www.php.cn/&#39;, 
&#39;http://www.baidu.com/&#39;, 
&#39;http://www.163.com/&#39; 
); 

$save_to=&#39;/test.txt&#39;; // 把抓取的代码写入该文件 
$st = fopen($save_to,"a"); 

$mh = curl_multi_init(); 
foreach ($urls as $i => $url) { 
$conn[$i] = curl_init($url); 
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); 
curl_setopt($conn[$i], CURLOPT_HEADER ,0); 
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); 
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 设置不将爬取代码写到浏览器，而是转化为字符串 
curl_multi_add_handle ($mh,$conn[$i]); 
} 

do { 
curl_multi_exec($mh,$active); 
} while ($active); 

foreach ($urls as $i => $url) { 
$data = curl_multi_getcontent($conn[$i]); // 获得爬取的代码字符串 
fwrite($st,$data); // 将字符串写入文件。当然，也可以不写入文件，比如存入数据库 
} // 获得数据变量，并写入文件 

foreach ($urls as $i => $url) { 
curl_multi_remove_handle($mh,$conn[$i]); 
curl_close($conn[$i]); 
} 

curl_multi_close($mh); 
fclose($st); 
?>

以上是php 多線程抓取網頁實例程式碼的詳細內容。更多資訊請關注PHP中文網其他相關文章！