爬蟲技術可以爬https麼

爬蟲技術可以爬https麼?

#首先我們先來理解什麼是https

https是HTTP SSL的簡稱，是在HTTP傳輸方式的基礎上將之前的明文進行了加密傳輸，在傳輸之前就會確定資訊加密方式和秘鑰，在傳輸中即使被捕獲或偽造，那麼也能保證資訊不會被洩露。

而爬蟲本質是偽裝成一個瀏覽器，發送請求給伺服器，參與了整個過程，所以即使https連結也能抓取，但前提是偽造的這個客戶端有正確的SSL憑證。

尋找錯誤根源

爬蟲運行中提示SSL error錯誤的情況，一般是本地證書或相關SSL庫沒有正確安裝、伺服器使用自己製作的CA證書，沒有有權威機構認證

解決證書異常問題

對於ＣＡ證書問題我們可以參考下面集中方案：

１.不驗證ＣＡ證書，但要忽略安全警告

coding=utf-8import requests# 不验证CA证书则需要忽略安全警告方式一：import urllib3urllib3.disable_warnings()方式二：from requests.packages.urllib3.exceptions import InsecureRequestWarningrequests.packages.urllib3.disable_warnings(InsecureRequestWarning)r=requests.get(url=“https://www.baidu.com/”,verify=False)print r.elapsed.total_seconds()

２.指定憑證位置或含憑證的資料夾（此資料夾是由ＯｐｅｎＳＳＬ工具製作的）

coding=utf-8import requestsr=requests.get(url=“https://www.baidu.com/”,verify='/path/to/certfile')

以上是爬蟲技術可以爬https麼的詳細內容。更多資訊請關注PHP中文網其他相關文章！