PHP如何實作爬蟲
- 小云云原創
- 2018-03-10 11:16:0320868瀏覽
使用PHP的curl擴充抓取頁面數據，PHP的curl擴充是PHP支援的允許你與各種伺服器使用各種類型的協定進行連接和通訊的函式庫。
本程式是抓取知乎的使用者數據，要能存取使用者個人頁面，需要使用者登入後的才能存取。當我們在瀏覽器的頁面中點擊一個用戶頭像鏈接進入用戶個人中心頁面的時候，之所以能夠看到用戶的信息，是因為在點擊鏈接的時候，瀏覽器幫你將本地的cookie帶上一齊提交到新的頁面，所以你就能進入到使用者的個人中心頁面。因此實現訪問個人頁面之前需要先獲得用戶的cookie訊息，然後在每次curl請求的時候帶上cookie資訊。在取得cookie資訊方面，我是用了自己的cookie，在頁面中可以看到自己的cookie資訊：
一個個複製，以"__utma=?;__utmb=?;"這樣的形式組成一個cookie字串。接下來就可以使用該cookie字串來傳送請求。
初始的範例：
$url = 'http://www.zhihu.com/people/mora-hu/about'; //此处mora-hu代表用户ID $ch = curl_init($url); //初始化会话 curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_COOKIE, $this->config_arr['user_cookie']); //设置请求COOKIE curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将curl_exec()获取的信息以文件流的形式返回，而不是直接输出。 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); $result = curl_exec($ch); return $result; //抓取的结果
執行上面的程式碼可以獲得mora-hu用戶的個人中心頁面。利用此結果再使用正規表示式對頁面進行處理，就能取得到姓名，性別等所需抓取的資訊。
圖片防盜鏈
在對回傳結果進行正規處理後輸出個人資訊的時候，發現在頁面中輸出使用者頭像時無法開啟。經過查閱資料得知，是因為知乎對圖片做了防盜鏈處理。解決方案就是請求圖片的時候在請求頭裡偽造一個referer。
在使用正規表示式取得到圖片的連結之後，再發一次請求，這時候帶上圖片請求的來源，說明該請求來自知乎網站的轉發。具體例子如下：
function getImg($url, $u_id){
if (file_exists('./images/' . $u_id . ".jpg"))
{
return "images/$u_id" . '.jpg'; } if (empty($url))
{
return '';
} $context_options = array(
'http' =>
array(
'header' => "Referer:http://www.zhihu.com"//带上referer参数
)
); $context = stream_context_create($context_options); $img = file_get_contents('http:' . $url, FALSE, $context); file_put_contents('./images/' . $u_id . ".jpg", $img); return "images/$u_id" . '.jpg';}爬取更多用戶
不同的用戶的這個url幾乎是一樣的，不同的地方就在於用戶名那裡。用正規匹配拿到用戶名列表，一個一個拼url，然後再逐個發請求（當然，一個一個是比較慢的，下面有解決方案，這個稍後會說到）。進入到新用戶的頁面之後，再重複上面的步驟，就這樣不斷循環，直到達到你所要的資料量。
linux統計檔案數量
腳本跑了一段時間後，需要看看究竟獲取了多少圖片，當資料量比較大的時候，打開資料夾查看圖片數量就有點慢。腳本是在linux環境下運行的，因此可以使用linux的命令來統計文件數量：
其中，ls -l是長列表輸出該目錄下的文件資訊（這裡的文件可以是目錄、鏈接、設備文件等）；grep "^-"過濾長列表輸出訊息，"^-" 只保留一般文件，如果只保留目錄是"^d"；wc -l是統計輸出訊息的行數。以下是一個運行範例：
插入MySQL時重複資料的處理
程式運行了一段時間後，發現有很多使用者的資料是重複的，因此需要在插入重複使用者資料的時候做處理。處理方案如下：
1）插入資料庫之前檢查資料是否已經存在資料庫；
2）新增唯一索引，插入時使用INSERT INTO ... ON DUPliCATE KEY UPDATE. ..
3）新增唯一索引，插入時使用INSERT INGNO
<br/>RE INTO...
4）新增唯一索引，插入時使用REPLACE INTO...
使用curl_multi實現I/O復用抓取頁面
#剛開始單進程而且單一curl去抓取數據，速度很慢，掛機爬了一個晚上只能抓到2W的數據，於是便想到能不能在進入新的用戶頁面發curl請求的時候一次性請求多個用戶，後來發現了curl_multi這個好東西。 curl_multi這類函數可以實現同時請求多個url，而不是一個個請求，這是一種I/O復用的機制。以下是使用curl_multi爬蟲的範例：
$mh = curl_multi_init(); //返回一个新cURL批处理句柄
for ($i = 0; $i < $max_size; $i++)
{ $ch = curl_init(); //初始化单个cURL会话
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');
curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); $requestMap[$i] = $ch;
curl_multi_add_handle($mh, $ch);
//向curl批处理会话中添加单独的curl句柄
} $user_arr = array(); do { //运行当前 cURL 句柄的子连接
while (($cme = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM); if ($cme != CURLM_OK) {break;} //获取当前解析的cURL的相关传输信息
while ($done = curl_multi_info_read($mh))
{ $info = curl_getinfo($done['handle']); $tmp_result = curl_multi_getcontent($done['handle']); $error = curl_error($done['handle']); $user_arr[] = array_values(getUserInfo($tmp_result)); //保证同时有$max_size个请求在处理
if ($i < sizeof($user_list) && isset($user_list[$i]) && $i < count($user_list))
{ $ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');
curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); $requestMap[$i] = $ch;
curl_multi_add_handle($mh, $ch); $i++;
}
curl_multi_remove_handle($mh, $done['handle']);
} if ($active)
curl_multi_select($mh, 10);
} while ($active);
curl_multi_close($mh); return $user_arr;HTTP 429 Too Many Requests
使用curl_multi函數可以同時發多個請求，但在執行過程中使同時發200個請求的時候，發現很多請求無法回傳了，也就是發現了丟包的情況。進一步分析，使用curl_getinfo函數列印每個請求句柄訊息，函數傳回一個包含HTTP response訊息的關聯數組，其中有一個欄位是http_code，表示請求傳回的HTTP狀態碼。看到有很多個請求的http_code都是429，這個回傳碼的意思是發送太多請求了。我猜是知乎做了防爬蟲的防護，於是我就拿其他的網站來做測試，發現一次性發200個請求時沒問題的，證明了我的猜測，知乎在這方面做了防護，即一次性的請求數量是有限制的。於是我不斷地減少請求數量，發現在5的時候就沒有丟包情況了。說明在這個程式裡一次性最多只能發5個請求，雖然不多，但這也是一次小提升了。
使用Redis保存已经访问过的用户
抓取用户的过程中，发现有些用户是已经访问过的，而且他的关注者和关注了的用户都已经获取过了，虽然在数据库的层面做了重复数据的处理，但是程序还是会使用curl发请求，这样重复的发送请求就有很多重复的网络开销。还有一个就是待抓取的用户需要暂时保存在一个地方以便下一次执行，刚开始是放到数组里面，后来发现要在程序里添加多进程，在多进程编程里，子进程会共享程序代码、函数库，但是进程使用的变量与其他进程所使用的截然不同。不同进程之间的变量是分离的，不能被其他进程读取，所以是不能使用数组的。因此就想到了使用Redis缓存来保存已经处理好的用户以及待抓取的用户。这样每次执行完的时候都把用户push到一个already_request_queue队列中，把待抓取的用户（即每个用户的关注者和关注了的用户列表）push到request_queue里面，然后每次执行前都从request_queue里pop一个用户，然后判断是否在already_request_queue里面，如果在，则进行下一个，否则就继续执行。
在PHP中使用redis示例：
<?php $redis = new Redis(); $redis->connect('127.0.0.1', '6379'); $redis->set('tmp', 'value'); if ($redis->exists('tmp'))
{ echo $redis->get('tmp') . "\n";
}使用PHP的pcntl扩展实现多进程
改用了curl_multi函数实现多线程抓取用户信息之后，程序运行了一个晚上，最终得到的数据有10W。还不能达到自己的理想目标，于是便继续优化，后来发现php里面有一个pcntl扩展可以实现多进程编程。下面是多编程编程的示例：
//PHP多进程demo //fork10个进程
for ($i = 0; $i < 10; $i++) { $pid = pcntl_fork(); if ($pid == -1) { echo "Could not fork!\n"; exit(1);
} if (!$pid) { echo "child process $i running\n"; //子进程执行完毕之后就退出，以免继续fork出新的子进程
exit($i);
}
} //等待子进程执行完毕，避免出现僵尸进程
while (pcntl_waitpid(0, $status) != -1) { $status = pcntl_wexitstatus($status);
echo "Child $status completed\n";
}在linux下查看系统的cpu信息
实现了多进程编程之后，就想着多开几条进程不断地抓取用户的数据，后来开了8调进程跑了一个晚上后发现只能拿到20W的数据，没有多大的提升。于是查阅资料发现，根据系统优化的CPU性能调优，程序的最大进程数不能随便给的，要根据CPU的核数和来给，最大进程数最好是cpu核数的2倍。因此需要查看cpu的信息来看看cpu的核数。在linux下查看cpu的信息的命令：
其中，model name表示cpu类型信息，cpu cores表示cpu核数。这里的核数是1，因为是在虚拟机下运行，分配到的cpu核数比较少，因此只能开2条进程。最终的结果是，用了一个周末就抓取了110万的用户数据。
多进程编程中Redis和MySQL连接问题
在多进程条件下，程序运行了一段时间后，发现数据不能插入到数据库，会报mysql too many connections的错误，redis也是如此。
下面这段代码会执行失败：
<?php for ($i = 0; $i < 10; $i++) { $pid = pcntl_fork(); if ($pid == -1) { echo "Could not fork!\n"; exit(1);
} if (!$pid) { $redis = PRedis::getInstance(); // do something
exit;
}
}根本原因是在各个子进程创建时，就已经继承了父进程一份完全一样的拷贝。对象可以拷贝，但是已创建的连接不能被拷贝成多个，由此产生的结果，就是各个进程都使用同一个redis连接，各干各的事，最终产生莫名其妙的冲突。
解决方法：
程序不能完全保证在fork进程之前，父进程不会创建redis连接实例。因此，要解决这个问题只能靠子进程本身了。试想一下，如果在子进程中获取的实例只与当前进程相关，那么这个问题就不存在了。于是解决方案就是稍微改造一下redis类实例化的静态方式，与当前进程ID绑定起来。
改造后的代码如下：
<?php public static function getInstance() { static $instances = array(); $key = getmypid();//获取当前进程ID
if ($empty($instances[$key])) { $inctances[$key] = new self();
} return $instances[$key];
}PHP统计脚本执行时间
因为想知道每个进程花费的时间是多少，因此写个函数统计脚本执行时间：
function microtime_float()
{ list($u_sec, $sec) = explode(' ', microtime());
return (floatval($u_sec) + floatval($sec));
}$start_time = microtime_float();
//do somethingusleep(100);$end_time = microtime_float();$total_time = $end_time - $start_time;$time_cost = sprintf("%.10f", $total_time);echo "program cost total " . $time_cost . "s\n";若文中有不正确的地方，望各位指出以便改正。
相关推荐：
nodejs爬虫superagent和cheerio体验案例
以上是PHP如何實作爬蟲的詳細內容。更多資訊請關注PHP中文網其他相關文章！