python爬蟲如何爬取get請求的頁面資料？ （附代碼）

這篇文章帶給大家的內容是關於python爬蟲如何爬取get請求的頁面資料（附程式碼），有一定的參考價值，有需要的朋友可以參考一下，希望對你有幫助。

一.urllib庫

urllib是Python自帶的一個用於爬蟲的函式庫，其主要作用就是可以透過程式碼模擬瀏覽器發送請求。其常用的子模組在Python3中的為urllib.request和urllib.parse，在Python2中是urllib和urllib2。

二.由易到難的爬蟲程式：

#1.爬取百度首頁所有資料值

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
#导包
import urllib.request
import urllib.parse
if __name__ == "__main__":
    #指定爬取的网页url
    url = 'http://www.baidu.com/'
    #通过urlopen函数向指定的url发起请求，返回响应对象
    reponse = urllib.request.urlopen(url=url)
    #通过调用响应对象中的read函数，返回响应回客户端的数据值（爬取到的数据）
    data = reponse.read()#返回的数据为byte类型，并非字符串
    print(data)#打印显示爬取到的数据值。

#補充說明
urlopen函數原型：

urllib.request.urlopen(url, data=None, timeout=<object object at 0x10af327d0>, *, cafile=None, capath=None, cadefault=False, context=None)

在上述案例中我們只使用了函數中的第一個參數url。在日常開發中，我們能用的只有url和data這兩個參數。

url參數：指定向哪個url發起請求

data參數：可以將post請求中攜帶的參數封裝成字典的形式傳遞給該參數（暫時不需要理解，後期會講)

urlopen函數傳回的回應對象，相關函數呼叫介紹：

response.headers()：取得回應頭資訊
response.getcode()：取得回應狀態碼
response.geturl()：取得請求的url
response.read()：取得回應中的資料值（位元組類型）

2.將爬取到百度新聞首頁的資料值寫入檔案進行儲存

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
if __name__ == "__main__":
    url = 'http://news.baidu.com/'
    reponse = urllib.request.urlopen(url=url)
    #decode()作用是将响应中字节（byte）类型的数据值转成字符串类型
    data = reponse.read().decode()
    #使用IO操作将data表示的数据值以'w'权限的方式写入到news.html文件中
    with open('./news.html','w') as fp:
        fp.write(data)
    print('写入文件完毕')

3.爬取網路上某張圖片數據，且儲存到本地

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
#如下两行代码表示忽略https证书，因为下面请求的url为https协议的请求，如果请求不是https则该两行代码可不用。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
if __name__ == "__main__":
    #url是https协议的
    url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg'
    reponse = urllib.request.urlopen(url=url)
    data = reponse.read()#因为爬取的是图片数据值(二进制数据)，则无需使用decode进行类型转换。
    with open('./money.jpg','wb') as fp:
        fp.write(data)
    print('写入文件完毕')

4.url的特性：url必須為ASCII編碼的資料值。所以我們在爬蟲程式碼中編寫url時，如果url中存在非ASCII編碼的資料值，則必須對其進行ASCII編碼後，該url方可被使用。

案例：爬取使用百度根據指定詞條搜尋到的頁面資料（例如爬取詞條為'周杰倫'的頁面資料）

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
if __name__ == "__main__":
    #原始url中存在非ASCII编码的值，则该url无法被使用。
    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'
    #处理url中存在的非ASCII数据值
    url = 'http://www.baidu.com/s?'
    #将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是'?'后面键值形式的请求参数
    param = {
        'ie':'utf-8',
        'wd':'周杰伦'
    }
    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
    param = urllib.parse.urlencode(param)
    #将编码后的数据和url进行整合拼接成一个完整可用的url
    url = url + param
    print(url)
    response = urllib.request.urlopen(url=url)
    data = response.read()
    with open('./周杰伦.html','wb') as fp:
        fp.write(data)
    print('写入文件完毕')

5.透過自訂請求對象，用於偽裝爬蟲程序請求的身份。

之前在講解http常用請求頭資訊時，我們講解過User-Agent參數，簡稱UA，此參數的作用是用來表示本次請求載體的身份識別。如果我們透過瀏覽器發起的請求，則該請求的載體為目前瀏覽器，則UA參數的值表示的是目前瀏覽器的身份識別所表示的一串資料。如果我們使用爬蟲程序發起的一個請求，則該請求的載體為爬蟲程序，那麼該請求的UA為爬蟲程序的身份標識表示的一串資料。有些網站會透過辨別請求的UA來判別該請求的載體是否為爬蟲程序，如果為爬蟲程序，則不會給該請求返回響應，那麼我們的爬蟲程序則也無法通過請求爬取到該網站中的數據值，這也是反爬蟲的一種初級技術手段。那麼為了防止該問題的出現​​，則我們可以給爬蟲程式的UA進行偽裝，偽裝成某款瀏覽器的身份標識。

上述案例中，我們是透過request模組中的urlopen發起的請求，該請求對象為urllib中內建的預設請求對象，我們無法對其進行UA進行更改操作。 urllib也為我們提供了一種自訂請求物件的方式，我們可以透過自訂請求物件的方式，給該請求物件中的UA進行偽裝（更改）操作。

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == "__main__":
    #原始url中存在非ASCII编码的值，则该url无法被使用。
    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'
    #处理url中存在的非ASCII数据值
    url = 'http://www.baidu.com/s?'
    #将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是'?'后面键值形式的请求参数
    param = {
        'ie':'utf-8',
        'wd':'周杰伦'
    }
    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
    param = urllib.parse.urlencode(param)
    #将编码后的数据和url进行整合拼接成一个完整可用的url
    url = url + param
    #将浏览器的UA数据获取，封装到一个字典中。该UA值可以通过抓包工具或者浏览器自带的开发者工具中获取某请求，从中获取UA的值
    headers={
        'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }
    #自定义一个请求对象
    #参数：url为请求的url。headers为UA的值。data为post请求的请求参数（后面讲）
    request = urllib.request.Request(url=url,headers=headers)

    #发送我们自定义的请求（该请求的UA已经进行了伪装）
    response = urllib.request.urlopen(request)

    data=response.read()

    with open('./周杰伦.html','wb') as fp:
        fp.write(data)
    print('写入数据完毕')

 相關推薦：

##python爬蟲beta版之抓取知乎單一頁面

Python 爬蟲的工具列表大全

以上是python爬蟲如何爬取get請求的頁面資料？ （附代碼）的詳細內容。更多資訊請關注PHP中文網其他相關文章！