【Python】Webクローラ（1）：Webページをクローリングする意味とURLの基本構成

1. Web クローラーの定義

Web クローラー、または Web スパイダーは非常に鮮やかな名前です。

インターネットを蜘蛛の巣に例えると、蜘蛛は巣の上を這っている蜘蛛です。
ウェブ スパイダーは、リンク アドレスを通じてウェブ ページを検索します。

Web サイトの特定のページ (通常はホームページ) から開始し、Web ページのコンテンツを読み、Web ページ内の他のリンク アドレスを見つけます。

次に、これらのリンク アドレスを通じて次の Web ページを見つけます。このサイクルは、Web サイトが表示されるまで続きます。すべての Web ページがクロールされるまでです。

インターネット全体が Web サイトとみなされる場合、ウェブ スパイダーはこの原理を使用して、インターネット上のすべての Web ページをクロールできます。

このように、Web クローラーはクローラー、Web ページを巡回するプログラムです。

Web クローラーの基本的な操作は、Web ページをクロールすることです。

では、どうすれば希望通りのページを取得できるのでしょうか？

まずはURLから始めましょう。

2. Web ページを閲覧するプロセス

Web ページをクロールするプロセスは、読者が通常 IE ブラウザを使用して Web ページを閲覧する方法と実際には同じです。

たとえば、ブラウザのアドレスバーにアドレス www.baidu.com を入力します。

Web ページを開くプロセスは、実際には、ブラウザーが閲覧「クライアント」としてサーバーにリクエストを送信し、サーバー側のファイルをローカルに「取得」し、それらを解釈して表示するというものです。

HTML は、タグを使用してコンテンツをマークし、解析して区別するマークアップ言語です。

ブラウザの機能は、取得した HTML コードを解析し、元のコードを直接表示される Web サイトのページに変換することです。

3. URI と URL の概念と例

簡単に言えば、URL はブラウザ側で入力された文字列 http://www.baidu.com です。

URL を理解する前に、まず URI の概念を理解する必要があります。

URIとは何ですか?

HTML ドキュメント、画像、ビデオ クリップ、プログラムなど、Web 上で利用可能なすべてのリソースは、Universal Resource Identifier (URI) によって検索されます。

URI は通常、次の 3 つの部分で構成されます:

①リソースにアクセスするための命名メカニズム、

②リソースが保存されているホスト名、

③パスで表されるリソース自体の名前。

次の URI のようにします:
http://www.why.com.cn/myhtml/html1223/

次のように説明できます:

①これは HTTP プロトコルを通じてアクセスできるリソースです

② ホスト www.webmonkey.com.cn 上にあり、

③ パス「/html/html40」を通じてアクセスします。

4. URL の理解と例

URL は URI のサブセットです。 Uniform Resource Locatorの略で、「統一リソースロケーター」と訳されます。

簡単に言うと、URL はインターネット上の情報リソースを記述する文字列で、主にさまざまな WWW クライアント プログラムやサーバー プログラムで使用されます。

URL は、ファイル、サーバーアドレス、ディレクトリなどのさまざまな情報リソースを統一された形式で記述するために使用できます。

URL の一般的な形式は次のとおりです (角括弧 [] はオプション):

protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL の形式は 3 つの部分で構成されます:

①最初の部分はプロトコル (またはサービス メソッド) です。

② 2 番目の部分は、リソースが保存されているホストの IP アドレスです (ポート番号を含む場合もあります)。

③ 3 番目の部分は、ディレクトリやファイル名などのホスト リソースの特定のアドレスです。

前半部分と後半部分は「://」記号で区切られ、

後半部分と後半部分は「/」記号で区切られます。

第 1 部と第 2 部は必須であり、第 3 部は省略できる場合もあります。

5. URL と URI の単純な比較

URI は URL の下位レベルの抽象化であり、文字列テキスト標準です。

つまり、URIは親クラスに属し、URLはURIのサブクラスに属します。 URL は URI のサブセットです。

URI の定義は、Uniform Resource Identifier、

URL の定義は、Uniform Resource Locator です。

2 つの違いは、URI がリクエスト サーバーへのパスを表し、そのようなリソースを定義することです。

URL には、このリソースへのアクセス方法も説明されています (http://)。

2 つの URL の小さな例を見てみましょう。

1. HTTP プロトコルの URL の例:
ハイパーテキスト転送プロトコル HTTP を使用して、ハイパーテキスト情報サービスのリソースを提供します。

例: http://www.peopledaily.com.cn/channel/welcome.htm

コンピュータのドメイン名は www.peopledaily.com.cn です。

ハイパーテキスト ファイル (ファイル タイプは .html) は、/channel ディレクトリ内の welcome.htm です。

これは中国人民日報のコンピューターです。

例: http://www.rol.cn.NET/talk/talk1.htm

コンピュータのドメイン名は www.rol.cn.Net です。

ハイパーテキスト ファイル (ファイル タイプは .html) は、/talk ディレクトリ内の talk1.htm です。

赤チャットルームのアドレスです。ここから赤チャットルームのルーム1に入ることができます。

2.ファイル URL
URL を使用してファイルを表す場合、サーバー モードはファイルで表され、その後にホスト IP アドレス、ファイル アクセス パス (つまり、ディレクトリ)、ファイル名などの情報が続きます。

ディレクトリ名やファイル名は省略できる場合もありますが、「/」記号は省略できません。

例: file://ftp.yoyodyne.com/pub/files/foobar.txt

上記の URL は、ホスト ftp.yoyodyne.com の pub/files/ ディレクトリに保存されているファイルを表します。 foob​​ar.txt。

例: file://ftp.yoyodyne.com/pub

は、ホスト ftp.yoyodyne.com 上のディレクトリ/pub を表します。

例: file://ftp.yoyodyne.com/

ホスト ftp.yoyodyne.com のルート ディレクトリを表します。

クローラーの主な処理オブジェクトは URL であり、URL アドレスに基づいて必要なファイルのコンテンツを取得し、それをさらに処理します。

したがって、Web クローラーを理解するには、URL を正確に理解することが重要です。

上記は、[Python] Web クローラー (1): Web ページの意味と URL の基本構成をクロールする、その他の関連コンテンツについては、PHP 中国語 Web サイト (www.php.cn) に注目してください。