Python爬蟲：HTTP協定、Requests函式庫

HTTP協定：

HTTP（Hypertext Transfer Protocol）：即超文本傳輸協定。 URL是透過HTTP協定存取資源的Internet路徑，一個URL對應一個資料資源。

HTTP協定對資源的操作：

#Requests函式庫提供了HTTP所有的基本請求方式。官方介紹：

Requests函式庫的6個主要方法：

## Requests函式庫的例外：

Requests函式庫的兩個重要物件：Request（請求）、Response（對應）。 Request物件支援多種請求方法；Response物件包含伺服器傳回的所有訊息，也包含所請求的Request訊息。

Response物件的屬性：

#其中，r.encoding指：如果header中不存在charset，則認為編碼為ISO‐8859‐1。

r.raise_for_status()可以直接知道r.status_code是否等於200。

HTTP協定與Requests函式庫比較：

爬取網頁的通用程式碼框架：

1 try:2     r = requests.get(url,timeout = 30)3     r.raise_for_status()4     # 如果状态不是200，引发HTTPError异常5     r.encoding = r.apparent_encoding6     return r.text7 except:8     return '产生异常'

例如，取得PMCAFF首頁的資訊：

 1 import requests 2  3 def getHtmlText(url): 4     try: 5         r = requests.get(url,timeout = 30) 6         r.raise_for_status() 7         r.encoding = r.apparent_encoding 8         return r.text 9     except:10         return '产生异常'11 12 if __name__ == '__main__':13     url = ''14     print(getHtmlText(url))

##爬取網頁的通用程式碼框架：操作環境：Mac，Python 3.6，PyCharm 2016.2

參考資料：中國大學MOOC課程《Python網路爬蟲與資訊擷取》

#-----   End   -----

作者：杜王丹，《微信公眾號：杜王丹，網路產品經理》。

以上是Python爬蟲：HTTP協定、Requests函式庫的詳細內容。更多資訊請關注PHP中文網其他相關文章！