Python クローラーは get によって要求されたページ データをどのようにクロールしますか? (コード付き)

この記事の内容は、get でリクエストされたページデータを Python クローラーがどのように巡回するのか (コード付き) というもので、ある程度の参考値はありますが、困っている友人は参考にしていただければ幸いです。

1.urllib ライブラリ

urllib は Python に付属するクローラ用のライブラリで、主な機能はブラウザをシミュレートしてコードを通じてリクエストを送信することです。一般的に使用されるサブモジュールは、Python3 では urllib.request と urllib.parse、Python2 では urllib と urllib2 です。

2. クローラー プログラムを簡単なものから難しいものまで:

1. Baidu ホームページ上のすべてのデータ値をクロールする

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
#导包
import urllib.request
import urllib.parse
if __name__ == "__main__":
    #指定爬取的网页url
    url = 'http://www.baidu.com/'
    #通过urlopen函数向指定的url发起请求，返回响应对象
    reponse = urllib.request.urlopen(url=url)
    #通过调用响应对象中的read函数，返回响应回客户端的数据值（爬取到的数据）
    data = reponse.read()#返回的数据为byte类型，并非字符串
    print(data)#打印显示爬取到的数据值。

##補足説明urlopen 関数プロトタイプ:

urllib.request.urlopen(url, data=None, timeout=<object object at 0x10af327d0>, *, cafile=None, capath=None, cadefault=False, context=None)

上記の場合、関数内の最初のパラメーター url のみを使用しました。日常の開発では、使用できるパラメータは URL とデータの 2 つだけです。

url パラメータ: リクエストを開始する URL を指定します。

data パラメータ: 投稿リクエストに含まれるパラメータは、辞書にカプセル化して、このパラメータに渡すことができます (理解する必要はありません)現時点では、後で説明します) )

urlopen 関数によって返される応答オブジェクト、関連する関数呼び出しの概要:

response.headers(): 応答ヘッダー情報を取得します

response.getcode(): レスポンスステータスコードを取得
response.geturl(): リクエストされたURLを取得##response.read(): レスポンス内のデータ値を取得(バイト型)
#2. 百度ニュースのホームページにクロールしたデータ値を書き込む 保存用ファイルを入力する

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
if __name__ == "__main__":
    url = 'http://news.baidu.com/'
    reponse = urllib.request.urlopen(url=url)
    #decode()作用是将响应中字节（byte）类型的数据值转成字符串类型
    data = reponse.read().decode()
    #使用IO操作将data表示的数据值以'w'权限的方式写入到news.html文件中
    with open('./news.html','w') as fp:
        fp.write(data)
    print('写入文件完毕')

3. ネットワーク上の特定の画像データをクロールし、ローカルに保存する

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
#如下两行代码表示忽略https证书，因为下面请求的url为https协议的请求，如果请求不是https则该两行代码可不用。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
if __name__ == "__main__":
    #url是https协议的
    url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg'
    reponse = urllib.request.urlopen(url=url)
    data = reponse.read()#因为爬取的是图片数据值(二进制数据)，则无需使用decode进行类型转换。
    with open('./money.jpg','wb') as fp:
        fp.write(data)
    print('写入文件完毕')

4. の特徴url: URL は ASCII でエンコードされたデータ値である必要があります。したがって、クローラー コードに URL を記述するときに、URL に非 ASCII エンコードされたデータ値がある場合は、URL を使用する前に ASCII エンコードする必要があります。

ケース: 指定された用語に基づいて Baidu によって検索されたページ データをクロールします (たとえば、「Jay Chou」という用語を含むページ データをクロールします)

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
if __name__ == "__main__":
    #原始url中存在非ASCII编码的值，则该url无法被使用。
    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'
    #处理url中存在的非ASCII数据值
    url = 'http://www.baidu.com/s?'
    #将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是'?'后面键值形式的请求参数
    param = {
        'ie':'utf-8',
        'wd':'周杰伦'
    }
    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
    param = urllib.parse.urlencode(param)
    #将编码后的数据和url进行整合拼接成一个完整可用的url
    url = url + param
    print(url)
    response = urllib.request.urlopen(url=url)
    data = response.read()
    with open('./周杰伦.html','wb') as fp:
        fp.write(data)
    print('写入文件完毕')

5. リクエスト オブジェクトをカスタマイズすることによって, クローラーによって要求された ID を偽装するために使用されます。

前に共通の HTTP リクエスト ヘッダー情報を説明したときに、UA と呼ばれる User-Agent パラメータについて説明しました。このパラメータの機能は、リクエスト キャリアの ID を示すことです。ブラウザを通じてリクエストを開始する場合、リクエストのキャリアは現在のブラウザであり、UA パラメータの値は現在のブラウザの ID によって表されるデータの文字列を示します。クローラー プログラムによって開始されたリクエストを使用する場合、リクエストのキャリアはクローラー プログラムであり、リクエストの UA はクローラー プログラムの ID によって表されるデータの文字列です。一部の Web サイトでは、リクエストの UA を識別することによって、リクエストのキャリアがクローラー プログラムであるかどうかを判断します。クローラー プログラムである場合、リクエストに対して応答は返されず、当社のクローラー プログラムは Web サイトをクロールできません。データ値、これはクロール防止の主要な技術的手段でもあります。この問題の発生を防ぐために、クローラー プログラムの UA を特定のブラウザーの ID として偽装することができます。

上記のケースでは、リクエスト モジュールの urlopen を通じてリクエストを開始しました。リクエスト オブジェクトは、urllib に組み込まれたデフォルトのリクエスト オブジェクトであり、UA を通じて変更することはできません。 urllib はリクエスト オブジェクトをカスタマイズする方法も提供しており、リクエスト オブジェクトをカスタマイズすることでリクエスト オブジェクト内の UA を偽装 (変更) できます。

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == "__main__":
    #原始url中存在非ASCII编码的值，则该url无法被使用。
    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'
    #处理url中存在的非ASCII数据值
    url = 'http://www.baidu.com/s?'
    #将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是'?'后面键值形式的请求参数
    param = {
        'ie':'utf-8',
        'wd':'周杰伦'
    }
    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
    param = urllib.parse.urlencode(param)
    #将编码后的数据和url进行整合拼接成一个完整可用的url
    url = url + param
    #将浏览器的UA数据获取，封装到一个字典中。该UA值可以通过抓包工具或者浏览器自带的开发者工具中获取某请求，从中获取UA的值
    headers={
        'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }
    #自定义一个请求对象
    #参数：url为请求的url。headers为UA的值。data为post请求的请求参数（后面讲）
    request = urllib.request.Request(url=url,headers=headers)

    #发送我们自定义的请求（该请求的UA已经进行了伪装）
    response = urllib.request.urlopen(request)

    data=response.read()

    with open('./周杰伦.html','wb') as fp:
        fp.write(data)
    print('写入数据完毕')

関連する推奨事項:

Zhihu の単一ページをクロールするための Python クローラー ベータ版

Python クローラー ツール リスト百科事典

以上がPython クローラーは get によって要求されたページ データをどのようにクロールしますか? (コード付き)の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。