爬蟲基本流程Request和Response的介紹

基於python的爬蟲想要從網站上取得數據，就是從request到response的過程。我們透過偽裝瀏覽器從而向伺服器發出Request請求，伺服器則會在接受訊息後，作出Response回應。

在上一篇我們講解了什麼是爬蟲和爬蟲的基本流程的介紹，今天給大家帶來的就是基本流程的詳細介紹，什麼是Request和Response。

Request

#1.什麼是Request？

瀏覽器傳送訊息給該網址所在的伺服器，這個程序就叫做HTTP Request。

2.Request包含什麼？

請求方式：請求方式的主要類型是GET，POST兩種，另外還有HEAD、PUT、DELETE等。 GET 請求的請求參數會顯示在URL連結的後面，例如我們打開百度，搜尋“圖片”，我們會看到請求的URL連結為https://www.baidu.com/s?wd=圖片。而POST 請求的請求參數會存放在Request內，並不會出現在URL 連結的後面，例如我們登入知乎，輸入使用者名稱和密碼，我們會看到瀏覽器開發者工具的Network頁，Request請求有Form Data的鍵值對訊息，那裡就存放了我們的登入訊息，有利於保護我們的帳戶資訊安全；請求URL：URL 全名是統一資源定位符，也就是我們所說的網址。例如一張圖片，一個音樂文件，一個網頁文檔等都可以用唯一URL來確定，它包含的信息指出文件的位置以及瀏覽器應該怎麼去處理它；請求頭(Request Headers)：請求頭包含請求時的頭部訊息，如User-Agent（指定瀏覽器的請求頭），Host，Cookies等資訊；請求體：請求體是請求是額外攜帶的數據，例如登入表單提交的登入資訊資料。

Response

1.什麼是Response？

伺服器收到瀏覽器傳送的訊息後，能夠根據瀏覽器傳送訊息的內容，做出對應的處理，然後把訊息回傳給瀏覽器，這個過程就叫做HTTP Response。

2.Response包含什麼？

回應狀態：有多種回應狀態，例如200代表成功，301 跳轉頁面，404 表示找不到頁面，502 表示伺服器錯誤；回應頭(Response Headers)：例如內容類型，內容長度，伺服器訊息，設定Cookie等；回應體：回應體最主要的部分，包含了請求資源的內容，例如網頁HTML 代碼，圖片二進位資料等。

簡單示範

import requests # 导入requests库，需要安装
 
# 模拟成浏览器访问的头
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
resp = requests.get('https://www.baidu.com',headers=headers)
print(resp.text) # 打印出网页源代码
print(resp.status_code) # 打印出状态码

運行成功後可以看到列印出來的 html 原始碼和 200 狀態碼了。這基本上實作了爬蟲的Request和Response的過程。

以上是爬蟲基本流程Request和Response的介紹的詳細內容。更多資訊請關注PHP中文網其他相關文章！