PHP を使用して、Sina Weibo のユーザー情報をキャプチャするクローラーを実装します。

近年、モバイルインターネットの急速な発展に伴い、ソーシャルネットワークは人々の日常生活に欠かせないものとなっています。中でも Weibo は中国で有名なソーシャルメディアの 1 つとして、ユーザーグループに広範な影響力を持っています。しかし、新浪微博ではユーザーが独自に開発者権限を申請することが制限されているため、情報収集の難易度はある程度上がっています。したがって、この問題を解決するために、この記事では、PHP を使用して新浪微博のユーザー情報をクロールするクローラー方法を紹介します。

1. クローラー プロセスの概要

この記事で紹介するクローラー プロセスは次のとおりです:

1. ユーザー ID の取得

Sina によるWeibo のアクセス制限により、当社はユーザーのデータに直接アクセスすることができません。したがって、新浪微博のユーザー情報を取得するクローラーを実装する場合、最初にユーザー ID を取得する必要があります。 Weibo ホームページの HTML コードを分析すると、個人ホームページの URL に各ユーザーの ID が存在し、その形式は http://weibo.com/userID であることがわかります。このリンクにアクセスしてユーザー ID を抽出し、その後のデータ スクレイピングに使用できます。

2. 模擬ログイン

新浪微博のアクセス制限のため、データをクロールする前にログインする必要があります。 PHP CURL ライブラリを通じてログイン操作をシミュレートできます。 PHP CURL ライブラリでは、次の関数を使用してシミュレートされたログインを実装できます。

curl_init(): CURL セッションの初期化
curl_setopt(): CURL セッション オプションの設定
curl_exec(): 実行CURL セッション
curl_close(): CURL セッションを閉じる

3. ユーザー情報を取得します

PHP CURL ライブラリを使用してログインをシミュレートした後、ユーザーの個人ホームページに直接アクセスできます。次に、HTML コードを解析してユーザー情報を抽出します。なお、Web版新浪微博はAjaxによる部分的なデータ更新を実装しているため、PHPを使用してサーバーにデータをリクエストし、サーバーから返されたJSONデータを解析して必要な情報を抽出する必要があります。

4. データ ストレージ

取得したユーザー情報を MySQL データベースに保存して、その後のデータ処理と分析を容易にすることができます。新浪微博ではデータの取得に厳しい制限があるため、クローラー対策メカニズムの発動を避けるために、データの取得時に一定の時間間隔を追加する必要があり、模擬ログイン用のアカウントのパスワードを定期的に変更する必要があることに注意してください。 。

2. 具体的な実装方法

1. ユーザーIDの取得

ユーザーのホームページのURLにアクセスして、対応するユーザーIDを取得する関数を記述します。具体的なコードは次のとおりです。

function getWeiboID($url){
$pattern = '/(d )/s';
preg_match($pattern, $url, $matches);
$res = $matches[1];
return $res;
}

2. ログインのシミュレート

ユーザーのログイン プロセスをシミュレートする関数を作成できます。 。具体的なコードは次のとおりです。

function login($username,$password){
$url = "http://login.weibo.cn/login/";
$curl =カール_init() ;
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_POST, true);
curl_setopt($curl, CURLOPT_POSTFIELDS, "username=$username&password=$password" );
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_COOKIEFILE, '');
curl_setopt($curl, CURLOPT_COOKIEJAR, ' cookie.txt');
$content =curl_exec($curl);
curl_close($curl);
}

3. ユーザー情報の取得

us ニックネーム、性別、地域、誕生日などのユーザーの基本情報を取得する関数を作成できます。具体的なコードは次のとおりです。

function getUserInfo($weiboID,$cookiefile){

$url = "http://m.weibo.cn/users/$weiboID";
$カール =curl_init ();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_COOKIEFILE, $cookiefile);
$json =curl_exec($curl);
curl_close($curl);

$info = json_decode($json,true)["userInfo"];

$nickname = $info["画面名"] ;
$gender = $info["gender"];
$province = $info["province"];
$city = $info["city"];
$誕生日 = $ info["誕生日"];
return array(

"nickname" => $nickname,
"gender" => $gender,
"province" => $province,
"city" => $city,
"birthday" => $birthday

);

}

4. データ ストレージ

最後に、キャプチャできます。ユーザー情報は MySQL データベースに保存されます。具体的なコードは次のとおりです。

function saveUserInfo($userInfo){

$db = mysqli_connect("localhost","root","password","database");
$nickname = mysqli_real_escape_string( $db,$userInfo["nickname"]);
$gender = mysqli_real_escape_string($db,$userInfo["gender"]);
$province = mysqli_real_escape_string($db,$userInfo["州"] );
$city = mysqli_real_escape_string($db,$userInfo["city"]);
$birthday = mysqli_real_escape_string($db,$userInfo["birthday"]);
$sql = "INSERT INTO users(ニックネーム,性別,県,都市,誕生日) VALUES ('$nickname','$gender','$province','$city','$birthday')";
mysqli_query( $db, $sql);
mysqli_close($db);
}

3. 概要

この記事の導入部を通じて、PHP を通じて Sina Weibo ユーザー情報をキャプチャするクローラー メソッドを実装する方法を学ぶことができます。なお、クローラの導入にあたっては、ネットワーク規制を遵守し、法令違反を回避し、プライバシー保護に留意する必要があります。さらに、クロール効果を確実にするには、アンチクローラー メカニズムのトリガーを回避するためにアルゴリズムを継続的に最適化する必要があります。

以上がPHP を使用して、Sina Weibo のユーザー情報をキャプチャするクローラーを実装します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。