PHP Web クローラーを使用して Zhihu をクロールする方法

インターネットの急速な発展により、情報爆発の時代が到来しました。 Zhihuは高品質な質疑応答プラットフォームとして豊富な知識と多くのユーザー情報を有しており、クローラー開発者にとっては貴重な宝であることは間違いありません。

この記事では、PHP 言語を使用して Zhihu データをクロールする Web クローラーを作成する方法を紹介します。

1. ターゲット データの決定

Web クローラーの作成を開始する前に、まずクロールする必要があるデータを決定する必要があります。たとえば、Zhihu 上の質問とその回答、ユーザー情報などを取得したい場合があります。

2. ページ構造の分析

ブラウザの開発者ツールを使用すると、Zhihu ページの構造を簡単に分析できます。分析する前に、まず Zhihu ホームページを開き、F12 キーを押して [要素] タブを選択します。このステップにより、ページの HTML コードを確認できるようになります。

HTML コードを観察すると、クロールする必要のあるデータが配置されている要素と、対応するクラス名または ID 名を見つけることができます。たとえば、質問のタイトルを取得したい場合、質問の HTML タグを見つけて、対応するクラス名または ID 名を確認できます。この情報は、後でクローラー コードを作成するときに重要な役割を果たします。

3. HTTP リクエストを送信し、応答データを解析する

PHP を使用してクローラ プログラムを作成する場合、cURL ライブラリを使用して HTTP リクエストを送信し、応答データを取得できます。以下は簡単な例です:

$url = 'https://www.zhihu.com/question/123456789';
$curl = curl_init($url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($curl);
curl_close($curl);

上の例では、cURL ライブラリを使用して、Zhihu 上の質問に HTTP リクエストを送信し、応答データを保存します。次に、DOMDocument や SimpleXMLElement などの PHP ライブラリを使用して応答データを解析できます。

4. 必要なデータを抽出する

応答データを解析した後、HTML ドキュメントを分析して必要なデータを抽出する必要があります。これは、DOMXPath や正規表現などの PHP ライブラリを使用して実現できます。

たとえば、Zhihu に関する質問に対するすべての回答を取得したい場合は、まず DOMXPath を使用して、すべての回答が含まれる HTML 要素を取得し、次にこれらの要素から必要なデータを抽出します。

$doc = new DOMDocument();
$doc->loadHTML($response);
$xpath = new DOMXPath($doc);
$answer_elements = $xpath->query("//div[@class='List-item']");

foreach ($answer_elements as $element) {
    // 使用DOMElement的方法获取答案的标题、作者、发布时间等信息
}

5. データの保存

最後に、抽出したデータをデータベースまたはファイルに保存できます。データをデータベースに保存したい場合は、PHP MySQLi または PDO ライブラリを使用してこれを実現できます。データをファイルに保存したい場合は、fopen や fwrite などの PHP ファイル操作ライブラリを使用してこれを実現できます。

$fp = fopen("data.csv", "w");
foreach ($data as $row) {
    fputcsv($fp, $row);
}
fclose($fp);

上の例では、fputcsv 関数を使用して、指定された CSV ファイルにデータを保存しました。

概要

PHP を使用してクローラー プログラムを作成すると、Zhihu 上のデータを簡単にクロールできます。開発プロセスでは、ターゲット データを決定し、ページ構造を分析し、HTTP リクエストを送信して応答データを解析し、必要なデータを抽出してデータを保存する必要があります。ここで紹介した方法は基本的な枠組みにすぎず、実際の開発ではニーズに応じて調整や最適化が必要になる場合があります。

以上がPHP Web クローラーを使用して Zhihu をクロールする方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。