Python Web クローラーを使用してネットワーク データを取得する方法

Python を使用してネットワーク データを取得する

Python 言語を使用してインターネットからデータを取得することは、非常に一般的なタスクです。 Python には、requests と呼ばれるライブラリがあります。これは、Web サーバーに HTTP リクエストを行うために使用される Python の HTTP クライアント ライブラリです。

リクエスト ライブラリを使用して、次のコードを通じて指定された URL への HTTP リクエストを開始できます。

import requests
response = requests.get(&#39;<http://www.example.com>&#39;)

その中で、response オブジェクトには返されたレスポンスが含まれます。サーバーによって。 response.text を使用して、応答のテキスト内容を取得します。

さらに、次のコードを使用してバイナリ リソースを取得することもできます。

import requests
response = requests.get(&#39;<http://www.example.com/image.png>&#39;)
with open(&#39;image.png&#39;, &#39;wb&#39;) as f:
    f.write(response.content)

response.content を使用して、サーバーから返されたバイナリ データを取得します。

クローラー コードの作成

クローラーは、ネットワーク経由で Web ページ データをクロールし、データベースまたはファイルに保存できる自動プログラムです。クローラーは、データ収集、情報監視、コンテンツ分析などの分野で広く使用されています。 Python 言語は、学習が容易で、コード量が少なく、ライブラリが豊富であるという利点があるため、クローラーの作成によく使用される言語です。

「Douban Movie」を例に、Python を使用してクローラ コードを記述する方法を紹介します。まず、リクエスト ライブラリを使用して Web ページの HTML コードを取得し、次にコード全体を長い文字列として扱い、正規表現のキャプチャ グループを使用して文字列から必要なコンテンツを抽出します。

Douban Movie Top250 ページのアドレスは https://movie.douban.com/top250?start=0 で、start パラメータはどの映画を表示するかを示します。から開始 取得を開始します。各ページには合計 25 本の映画が表示されます。Top250 のデータを取得するには、合計 10 ページにアクセスする必要があります。対応するアドレスは https://movie.douban.com/top250?start です。 =xxx、ここ xxx が 0 の場合は最初のページ xxx の値が 100 の場合をクリックすると、5 ページ目にアクセスできます。

映画のタイトルと評価を取得する場合を例として、コードは次のとおりです:

import re
import requests
import time
import random
for page in range(1, 11):
    resp = requests.get(
        url=f&#39;<https://movie.douban.com/top250?start=>{(page - 1) * 25}&#39;,
        headers={&#39;User-Agent&#39;: &#39;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36&#39;}
    )
    # 通过正则表达式获取class属性为title且标签体不以&开头的span标签并用捕获组提取标签内容
    pattern1 = re.compile(r&#39;<span class="title">([^&]*?)</span>&#39;)
    titles = pattern1.findall(resp.text)
    # 通过正则表达式获取class属性为rating_num的span标签并用捕获组提取标签内容
    pattern2 = re.compile(r&#39;<span class="rating_num".*?>(.*?)</span>&#39;)
    ranks = pattern2.findall(resp.text)
    # 使用zip压缩两个列表，循环遍历所有的电影标题和评分
    for title, rank in zip(titles, ranks):
        print(title, rank)
    # 随机休眠1-5秒，避免爬取页面过于频繁
    time.sleep(random.random() * 4 + 1)

上記のコードでは、正規表現を使用して、タグ本体が含まれるspanタグを取得します。はタイトルと評価であり、キャプチャ グループを使用してタグのコンテンツを抽出します。 zip を使用して両方のリストを圧縮し、すべての映画のタイトルと評価をループします。

IP プロキシを使用する

クローラーはネットワーク帯域幅を大量に消費し、大量の無効なトラフィックを生成するため、多くの Web サイトはクローラーに嫌悪感を抱いています。自分の身元を隠すには、通常、IP プロキシを使用して Web サイトにアクセスする必要があります。商用 IP プロキシ (マッシュルーム プロキシ、セサミ プロキシ、高速プロキシなど) が適切な選択です。商用 IP プロキシを使用すると、クロールされた Web サイトがクローラー プログラムの送信元の実際の IP アドレスを取得できなくなり、 IP アドレスを使用するだけで、クローラー プログラムはブロックされます。

Mushroom Agent を例に挙げると、Web サイトでアカウントを登録し、対応するパッケージを購入して商用 IP エージェントを入手できます。 Mushroom プロキシには、プロキシへのアクセス方法として API プライベート プロキシと HTTP トンネル プロキシの 2 つの方法があり、前者は Mushroom プロキシの API インターフェイスにリクエストしてプロキシ サーバーのアドレスを取得し、後者は統合されたプロキシ サーバーの IP とポートを直接使用します。

IP プロキシを使用するコードは次のとおりです。

import requests
proxies = {
    &#39;http&#39;: &#39;<http://username:password@ip>:port&#39;,
    &#39;https&#39;: &#39;<https://username:password@ip>:port&#39;
}
response = requests.get(&#39;<http://www.example.com>&#39;, proxies=proxies)

このうち、username と password はマッシュルーム プロキシのユーザー名とパスワードです。 ip と port はそれぞれプロキシ サーバーの IP アドレスとポート番号です。プロキシプロバイダーが異なればアクセス方法も異なる場合があり、実際の状況に応じて変更する必要があることに注意してください。

以上がPython Web クローラーを使用してネットワーク データを取得する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。