基本的なクローラーのチュートリアル: PHP と正規表現を使用した HTML の解析

インターネットの急速な発展に伴い、日常生活や仕事の基盤として Web ページから大量のデータを抽出する必要性がますます高まっており、そのためにはクローラー ツールの使用が必要になります。この記事では、PHP と正規表現を使用して HTML ドキュメントに基づいてデータを解析する方法を紹介します。

1. クローラーの概要

クローラーを深く理解する前に、クローラーとは何かを知る必要があります。いわゆるクローラは、インターネットから情報を自動的に収集し、スクリーニング、統合、分析などの処理を実行して、最終的に特定のデータセットを形成できるネットワークデータ収集ツールです。クローラーは主に、データマイニング、ビジネス競争力情報の収集、学術研究などの分野で使用されます。

2. PHP を使用して HTML を解析する

クローラーを作成する前に、HTML ドキュメントからデータを解析する方法を理解する必要があります。 PHP はサーバーサイドスクリプト言語として非常に便利な HTML 解析機能を備えており、よく使用される HTML 解析ライブラリには simple_html_dom、phpQuery などが含まれます。これらのライブラリは、PHP で CSS セレクターと jQuery の構文を使用する際に便利であり、HTML ファイルからのデータを簡単に解析できます。

正規表現を使用して HTML を解析する方法を紹介する前に、まず HTML 解析に simple_html_dom を使用する方法を見てみましょう。これは非常に便利で使いやすい HTML パーサーです。使用する必要があるのは、以下のコード:

require_once('simple_html_dom.php');
$html = file_get_html('http://example.com/');
echo $html->find('title',0)->plaintext;

上記のコードは、指定したURL(http://example.com/)のtitleタグの内容を取得して出力することができます $htmlはHTML DOMオブジェクトです。

3. 正規表現を使用して HTML を解析する

正規表現はテキスト パターン (文字列パターン) を記述する方法であり、一般的なパターン マッチング ツールです。正規表現を使用すると、データの検索、置換、分離など、テキストに対するさまざまな複雑な操作を簡単に実行できます。 HTML データを解析するとき、多くの場合、特定のタグ、属性、またはコンテンツを照合して抽出するために正規表現を使用する必要があります。

次は、HTML コード内の img タグを解析するための簡単な例です:

$match = preg_match_all('/<img.*?src=["|']?(.*?)["|']?s.*?>/i', $html, $out_img, PREG_SET_ORDER);
foreach ($out_img as $img_item) {
    echo $img_item[1];    
}

上記のコードは、preg_match_all 関数を使用して、正規表現を通じて HTML 内の a1f02c36ba31691bcfe87b2722de723b タグと一致させます。 src属性値を抽出して画面に出力します。

4. クローラーの実装

上記のコード例に基づいて、少し変更し、curl ライブラリと組み合わせて、単純なクローラーを実装できます。次のコードは、指定されたページをダウンロードし、そのページ内のすべてのリンク アドレスを抽出できます:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://www.example.com/');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//将页面转化成字符串，而不是直接输出
$html = curl_exec($ch);
curl_close($ch);

preg_match_all('/<a.*?href=["|']?(.*?)["|']?s.*?>/i', $html, $out_links, PREG_SET_ORDER);

foreach ($out_links as $link_item) {
    echo $link_item[1].PHP_EOL;//输出链接地址
}

上記のコードでは、curl ライブラリを使用して Web ページのソース コードを取得します。PREG_SET_ORDER パラメーターは、出力に従って一致を示します。正規表現の順序。このクローラは、単純なリンク抽出機能を実現できますが、もちろん、他の正規表現パターンを組み合わせて拡張し、より多くのニーズに対応することもできます。

5. 概要

上記は、PHP と正規表現を使用して HTML ドキュメントを解析する方法に関する基本的な知識です。実際の作業では、実際のニーズと Web ページの構造に基づいてさまざまな解析方法を選択し、他のツールやライブラリを適切に組み合わせて複雑なデータ解析タスクを完了する必要があります。

以上が基本的なクローラーのチュートリアル: PHP と正規表現を使用した HTML の解析の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。