Python爬蟲會使用瀏覽器的cookies：browsercookie

很多用Python的人可能都寫過網路爬蟲，自動化取得網路資料確實是一件令人愉悅的事情，而Python很好的幫助我們達到這種愉悅。然而，爬蟲經常要碰到各種登入、驗證的阻撓，讓人灰心喪志（網站：天天碰到各種各樣的爬蟲抓我們網站，也很讓人灰心喪氣～）。爬蟲和反爬蟲就是一個貓和老鼠的遊戲，道高一尺魔高一丈，兩者反覆糾纏。

由於http協定的無狀態性，登入驗證都是透過傳遞cookies來實現的。透過瀏覽器登入一次，登入資訊的cookie是就會被瀏覽器儲存下來。下次再開啟網站時，瀏覽器會自動帶上儲存的cookies，只有cookies還沒過期，對網站來說你就還是登入狀態的。

browsercookie模組就是這樣一個從瀏覽器提取已儲存的cookies的工具。它是一個很有用的爬蟲工具，透過將你瀏覽器的cookies載入到一個cookiejar物件裡面，讓你輕鬆下載需要登入的網頁內容。

安裝

pip install browsercookie

在Windows系統中，內建的sqlite模組在載入FireFox資料庫時會拋出錯誤。需要更新sqlite的版本：
pip install pysqlite

使用方法

下面是從網頁擷取標題的範例：

>>> import re
>>> get_title = lambda html: re.findall(&#39;<title>(.*?)</title>&#39;, html, flags=re.DOTALL)[0].strip()

下面是未登入狀況下載得到的標題：

>>> import urllib2
>>> url = ' 
>>> public_html = urllib2.urlopen(url).read()
>>> get_title(public_html)'Git and Mercurial code management for teams'

接下來使用browsercookie從登入過Bitbucket的FireFox裡面取得cookie再下載：

>>> import browsercookie
>>> cj = browsercookie.firefox()
>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
>>> login_html = opener.open(url).read()
>>> get_title(login_html)'richardpenman / home — Bitbucket'

上面是Python2的程式碼，再試試看Python3:

>>> import urllib.request
>>> public_html = urllib.request.urlopen(url).read()
>>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

#上面是Python2的程式碼，再試試看Python3:

>>> import requests
>>> cj = browsercookie.chrome()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)'richardpenman / home — Bitbucket'

你可以看到你的用戶名出現在title裡面了，說明browsercookie模組成功從FireFox載入了cookies。

下面是使用requests的例子，這次我們從Chrome裡面載入cookies，當然你需要事先用Chrome登入Bitbucket：

>>> cj = browsercookie.load()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)'richardpenman / home — Bitbucket'

如果你不知道或不關心那個瀏覽器有你需要的cookies，你可以這樣操作：

rrreee

支援

目前，這個模組支援以下平台：

Chrome: Linux, OSX, Windows

Firefox: Linux , OSX, Windows

目前該模組測試過的瀏覽器版本還不是很多，你使用過程中可能會遇到問題，可以向作者提交問題：

https://bitbucket .org/richardpenman/browsercookie/

### ###

以上是Python爬蟲會使用瀏覽器的cookies：browsercookie的詳細內容。更多資訊請關注PHP中文網其他相關文章！