[php クローラー] 数百万の Zhihu ユーザー データをクロールして分析する

コードホスティングアドレス: https://github.com/hhq continue/zhihuSpider

今回、110 万件のユーザーデータが取得されました。データ分析結果は次のとおりです:

開発の事前準備

Linux システム (Ubuntu14.04) をインストールし、VMWare 仮想マシンに Ubuntu をインストールします。

PHP5.6 以降をインストールします。

curl をインストールします。 pcntl拡張子。

PHP のcurl 拡張機能を使用してページ データを取得する

PHP のcurl 拡張機能は、PHP でサポートされているライブラリであり、さまざまな種類のプロトコルを使用してさまざまなサーバーに接続して通信できるようになります。

このプログラムは Zhihu ユーザー データをキャプチャします。ユーザーの個人ページにアクセスできるようにするには、ユーザーはアクセスする前にログインする必要があります。ブラウザ ページ上のユーザー アバター リンクをクリックしてユーザーのパーソナル センター ページにアクセスすると、ユーザーの情報が表示されるのは、リンクをクリックすると、ブラウザがローカル Cookie を取得して一緒に送信するのに役立つためです。新しいページに移動すると、ユーザーの個人センター ページに入ることができます。したがって、個人ページにアクセスする前に、ユーザーの Cookie 情報を取得し、その Cookie 情報を各 Curl リクエストに含める必要があります。 Cookie 情報の取得に関しては、自分の Cookie 情報を次のページで確認できます。「__utma=?;__utmb=?;」を 1 つずつコピーします。 form は Cookie 文字列を形成します。この Cookie 文字列はリクエストの送信に使用できます。

最初の例:

上記のコードを実行して、mora-hu ユーザーの個人センター ページを取得します。この結果を使用し、正規表現を使用してページを処理すると、名前、性別、およびキャプチャする必要があるその他の情報を取得できます。

$url = 'http://www.zhihu.com/people/mora-hu/about'; //此处mora-hu代表用户ID$ch = curl_init($url); //初始化会话curl_setopt($ch, CURLOPT_HEADER, 0);curl_setopt($ch, CURLOPT_COOKIE, $this->config_arr['user_cookie']);  //设置请求COOKIEcurl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //将curl_exec()获取的信息以文件流的形式返回，而不是直接输出。curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);  $result = curl_exec($ch);return $result;  //抓取的结果

画像ホットリンク保護

返された結果を正規化して個人情報を出力する場合、ページ上に出力する際に​​ユーザーのアバターが開けないことが分かりました。情報を確認したところ、Zhihu が写真をホットリンクから保護していたためであることがわかりました。解決策は、画像をリクエストするときにリクエスト ヘッダーでリファラーを偽造することです。

正規表現を使用して画像へのリンクを取得した後、今度は画像リクエストのソースを提示して、リクエストが Zhihu Web サイトから転送されたことを示します。具体的な例は次のとおりです。

個人情報を取得した後、ユーザーのフォロワーおよびフォローされているユーザーのリストにアクセスして、より多くのユーザー情報を取得する必要があります。次に、レイヤーごとにアクセスします。ご覧のとおり、パーソナル センター ページには次の 2 つのリンクがあります。

function getImg($url, $u_id){    if (file_exists('./images/' . $u_id . ".jpg"))    {        return "images/$u_id" . '.jpg';    }    if (empty($url))    {        return '';    }    $context_options = array(          'http' =>          array(            'header' => "Referer:http://www.zhihu.com"//带上referer参数     　　)　　);          $context = stream_context_create($context_options);      $img = file_get_contents('http:' . $url, FALSE, $context);    file_put_contents('./images/' . $u_id . ".jpg", $img);    return "images/$u_id" . '.jpg';}

ここには 2 つのリンクがあり、1 つはフォロー用、もう 1 つはフォロワー用です。 」が例です。通常のマッチングを使用して、対応するリンクを照合します。URL を取得した後、curl を使用して Cookie を取得し、別のリクエストを送信します。ユーザーがフォローしたリスト ページを取得した後、次のページを取得できます:

ページの HTML 構造を分析します。ユーザーの情報のみを取得する必要があるため、必要なのは次のことだけです。この作品をフレーム化します。 div の内容とユーザー名がすべて含まれています。ユーザーがフォローしているページの URL は次のとおりであることがわかります:

異なるユーザーの URL はほぼ同じで、違いはユーザー名にあります。通常のマッチングを使用してユーザー名のリストを取得し、URL を 1 つずつ入力してから、リクエストを 1 つずつ送信します (もちろん、1 つずつ実行すると時間がかかります。以下に解決策があります。これについては後で説明します)。新しいユーザーのページに入ったら、上記の手順を繰り返し、必要なデータ量に達するまでこのループを続けます。

Linux 統計ファイル数

スクリプトをしばらく実行した後、データ量が比較的多い場合は、取得された画像の数を確認する必要があります。フォルダを開いて写真の数を確認するのが遅い。スクリプトは Linux 環境で実行されるため、Linux コマンドを使用してファイル数をカウントできます。

このうち、ls -l はディレクトリ内のファイル情報の長いリスト出力です (ここでのファイルはディレクトリ、リンク、デバイス ファイルなどです); grep "^-" は長いリストの出力情報をフィルタリングし、"^-" は一般的なファイルのみを保持し、"^d" はディレクトリのみを保持します。統計出力情報の行数。以下は実行例です:

ls -l | grep "^-" | wc -l

MySQL への挿入時の重複データの処理

プログラムをしばらく実行した後、多くのユーザーが重複データを持っていることがわかりました。そのため、ユーザーデータを処理する際には重複したデータを挿入する必要があります。解決策は次のとおりです:

1) データベースに挿入する前に、データがデータベースに既に存在するかどうかを確認します。

2) 一意のインデックスを追加し、INSERT INTO... ON DUPLICATE を使用します。 KEY UPDATE...

3) 一意のインデックスを追加し、挿入時に INSERT IGNORE INTO を使用します...

4) 一意のインデックスを追加し、挿入時に REPLACE INTO を使用します...

curl_multi を使用して複数のスレッド キャプチャ ページを実現します

最初は、データをキャプチャするのに単一のプロセスと単一のcurlを使用していましたが、電話を切って一晩クロールした後、速度が非常に遅くなりました。 2W のデータしかキャプチャできなかったので、curl リクエストを行うときに、複数のユーザーを同時にリクエストできるかどうかを考えました。その後、curl_multi という優れものを発見しました。 curl_multi などの関数は、複数の URL を 1 つずつ要求するのではなく、同時に要求できます。これは、実行のために複数のスレッドを開く Linux システムのプロセスの機能と似ています。以下は、curl_multi を使用してマルチスレッド クローラーを実装する例です。

    $mh = curl_multi_init(); //返回一个新cURL批处理句柄    for ($i = 0; $i < $max_size; $i++)    {        $ch = curl_init();  //初始化单个cURL会话        curl_setopt($ch, CURLOPT_HEADER, 0);        curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');        curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36');        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);         curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);        $requestMap[$i] = $ch;        curl_multi_add_handle($mh, $ch);  //向curl批处理会话中添加单独的curl句柄    }    $user_arr = array();    do {                    //运行当前 cURL 句柄的子连接        while (($cme = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM);                if ($cme != CURLM_OK) {break;}                    //获取当前解析的cURL的相关传输信息        while ($done = curl_multi_info_read($mh))        {            $info = curl_getinfo($done['handle']);            $tmp_result = curl_multi_getcontent($done['handle']);            $error = curl_error($done['handle']);            $user_arr[] = array_values(getUserInfo($tmp_result));            //保证同时有$max_size个请求在处理            if ($i < sizeof($user_list) && isset($user_list[$i]) && $i < count($user_list))            {                $ch = curl_init();                curl_setopt($ch, CURLOPT_HEADER, 0);                curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');                curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);                curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36');                curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);                 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);                $requestMap[$i] = $ch;                curl_multi_add_handle($mh, $ch);                $i++;            }            curl_multi_remove_handle($mh, $done['handle']);        }        if ($active)            curl_multi_select($mh, 10);    } while ($active);    curl_multi_close($mh);    return $user_arr;

HTTP 429 Too Many Requests

使用curl_multi函数可以同时发多个请求，但是在执行过程中使同时发200个请求的时候，发现很多请求无法返回了，即发现了丢包的情况。进一步分析，使用 curl_getinfo 函数打印每个请求句柄信息，该函数返回一个包含HTTP response信息的关联数组，其中有一个字段是http_code，表示请求返回的HTTP状态码。看到有很多个请求的http_code都是429，这个返回码的意思是发送太多请求了。我猜是知乎做了防爬虫的防护，于是我就拿其他的网站来做测试，发现一次性发200个请求时没问题的，证明了我的猜测，知乎在这方面做了防护，即一次性的请求数量是有限制的。于是我不断地减少请求数量，发现在5的时候就没有丢包情况了。说明在这个程序里一次性最多只能发5个请求，虽然不多，但这也是一次小提升了。

使用Redis保存已经访问过的用户

抓取用户的过程中，发现有些用户是已经访问过的，而且他的关注者和关注了的用户都已经获取过了，虽然在数据库的层面做了重复数据的处理，但是程序还是会使用curl发请求，这样重复的发送请求就有很多重复的网络开销。还有一个就是待抓取的用户需要暂时保存在一个地方以便下一次执行，刚开始是放到数组里面，后来发现要在程序里添加多进程，在多进程编程里，子进程会共享程序代码、函数库，但是进程使用的变量与其他进程所使用的截然不同。不同进程之间的变量是分离的，不能被其他进程读取，所以是不能使用数组的。因此就想到了使用Redis缓存来保存已经处理好的用户以及待抓取的用户。这样每次执行完的时候都把用户push到一个already_request_queue队列中，把待抓取的用户（即每个用户的关注者和关注了的用户列表）push到request_queue里面，然后每次执行前都从request_queue里pop一个用户，然后判断是否在already_request_queue里面，如果在，则进行下一个，否则就继续执行。

在PHP中使用redis示例：

<?php    $redis = new Redis();    $redis->connect('127.0.0.1', '6379');    $redis->set('tmp', 'value');    if ($redis->exists('tmp'))    {        echo $redis->get('tmp') . "\n";    }

使用PHP的pcntl扩展实现多进程

改用了curl_multi函数实现多线程抓取用户信息之后，程序运行了一个晚上，最终得到的数据有10W。还不能达到自己的理想目标，于是便继续优化，后来发现php里面有一个pcntl扩展可以实现多进程编程。下面是多编程编程的示例：

//PHP多进程demo//fork10个进程for ($i = 0; $i < 10; $i++) {    $pid = pcntl_fork();    if ($pid == -1) {        echo "Could not fork!\n";        exit(1);    }    if (!$pid) {        echo "child process $i running\n";        //子进程执行完毕之后就退出，以免继续fork出新的子进程        exit($i);    }}//等待子进程执行完毕，避免出现僵尸进程while (pcntl_waitpid(0, $status) != -1) {    $status = pcntl_wexitstatus($status);    echo "Child $status completed\n";}

在Linux下查看系统的cpu信息

实现了多进程编程之后，就想着多开几条进程不断地抓取用户的数据，后来开了8调进程跑了一个晚上后发现只能拿到20W的数据，没有多大的提升。于是查阅资料发现，根据系统优化的CPU性能调优，程序的最大进程数不能随便给的，要根据CPU的核数和来给，最大进程数最好是cpu核数的2倍。因此需要查看cpu的信息来看看cpu的核数。在Linux下查看cpu的信息的命令：

cat /proc/cpuinfo

结果如下：

其中，model name表示cpu类型信息，cpu cores表示cpu核数。这里的核数是1，因为是在虚拟机下运行，分配到的cpu核数比较少，因此只能开2条进程。最终的结果是，用了一个周末就抓取了110万的用户数据。

多进程编程中Redis和MySQL连接问题

在多进程条件下，程序运行了一段时间后，发现数据不能插入到数据库，会报mysql too many connections的错误，redis也是如此。

下面这段代码会执行失败：

<?php     for ($i = 0; $i < 10; $i++) {          $pid = pcntl_fork();          if ($pid == -1) {               echo "Could not fork!\n";               exit(1);          }          if (!$pid) {               $redis = PRedis::getInstance();               // do something                    exit;          }     }

根本原因是在各个子进程创建时，就已经继承了父进程一份完全一样的拷贝。对象可以拷贝，但是已创建的连接不能被拷贝成多个，由此产生的结果，就是各个进程都使用同一个redis连接，各干各的事，最终产生莫名其妙的冲突。

解决方法：

程序不能完全保证在fork进程之前，父进程不会创建redis连接实例。因此，要解决这个问题只能靠子进程本身了。试想一下，如果在子进程中获取的实例只与当前进程相关，那么这个问题就不存在了。于是解决方案就是稍微改造一下redis类实例化的静态方式，与当前进程ID绑定起来。

改造后的代码如下：

<?php     public static function getInstance() {          static $instances = array();          $key = getmypid();//获取当前进程ID          if ($empty($instances[$key])) {               $inctances[$key] = new self();          }               return $instances[$key];     }

PHP统计脚本执行时间

因为想知道每个进程花费的时间是多少，因此写个函数统计脚本执行时间：

function microtime_float(){     list($u_sec, $sec) = explode(' ', microtime());     return (floatval($u_sec) + floatval($sec));}$start_time = microtime_float();//do somethingusleep(100);$end_time = microtime_float();$total_time = $end_time - $start_time;$time_cost = sprintf("%.10f", $total_time);echo "program cost total " . $time_cost . "s\n";

若文中有不正确的地方，望各位指出以便改正。