詳解python爬蟲利器Selenium使用方法

簡介：

用pyhon爬取動態頁面時普通的urllib2無法實現，例如下面的京東首頁，隨著滾動條的下拉會載入新的內容，而urllib2無法抓取這些內容，此時就需要今天的主角selenium。

Selenium是用於Web應用程式測試的工具。 Selenium測試直接運行在瀏覽器中，就像真正的使用者在操作一樣。支援的瀏覽器包括IE、Mozilla Firefox、Mozilla Suite等。使用它爬取頁面也十分方便，只需要按照訪問步驟模擬人在操作就可以了，完全不用操心Cookie,Session的處理，它甚至可以幫助你輸入帳戶，密碼，然後點擊登陸按鈕，對於上面的滾動條，你只要讓瀏覽器滾到最低端，然後儲存頁面就可以了。以上的這些功能在應對一些反爬蟲機制時十分有用。接下來就開始我們的解說正文，帶領大家實現一個需要登入的動態網頁的爬取。

 案例實作：

使用selnium需要選擇一個呼叫的瀏覽器並下載好對應的驅動，在桌面版可以選擇Chrome, FireFox等，伺服器端可以使用PhantomJS，桌面版可以直接調出來瀏覽器觀察到變化，所以一般我們可以在桌面版用Chrome等調試好之後，將瀏覽器改為PhantomJS然後上傳到伺服器使其運行，這裡我們直接以PhantomJS做示範.

首先時導入模組：

 from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
 from selenium import webdriver

##接下來時初始化一個瀏覽器，參數中可以指定載入網頁的一些屬性：

cap = webdriver.DesiredCapabilities.PHANTOMJS
cap["phantomjs.page.settings.resourceTimeout"] = 180
cap["phantomjs.page.settings.loadImages"] = False

driver = webdriver.PhantomJS(executable_path="/home/gaorong/phantomjs-2.1.1-linux-x86_64/bin/phantomjs", desired_capabilities=cap)

#上面初始了PhantomJS並設定了瀏覽器的路徑，載入屬性選擇了資源載入逾時時間和不載入圖片（我們只關心網頁文字）。在 這裡 還可以選擇其他設定。

 設定一些屬性，並下載一個網頁

#

driver.set_page_load_timeout(180)     
driver.get('http://www.php.cn/')
time.sleep(5)
driver.save_screenshot('./login.png')   #为便于调试，保存网页的截图

 

 由於伺服器端運作難免出錯，可以用save_screenshot儲存目前網頁的頁面以便於除錯。

接下來就是輸入帳號和密碼登陸，以取得網站的Cookies，以便於後面請求。

#输入username和password 
driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[1]").send_keys('*****')   
time.sleep(1)
print 'input user success!!!'

driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[2]").send_keys('****')
time.sleep(1)
print 'input password success!!!'

driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/button").click()
time.sleep(5)

 上面程式碼使用find_element_by_xpath取得輸入框的位置後輸入帳號和密碼並點選登陸鍵，可以看到一些都很方便。它會自動跳到下一個頁面，我們只需要sleep幾秒鐘等待它。

我們需要爬取的網頁資訊在某個特定的element裡，所以我們要判斷這個element是否出現：

try:
     element = WebDriverWait(driver, 10).until(
         EC.presence_of_element_located((By.CLASS_NAME, 'pulses'))
     )
     print 'find element!!!'        
 except:
     print 'not find element!!!'
     print traceback.format_exc()
     driver.quit()

上面判斷class為'pulse' 這個element是否出現，如果等待10s後還未出現，則selenum會爆出TimeoutError錯誤。

上面就進行了基本的初始化，然後就需要處理動態的內容了，這個網頁像京東一樣會隨著下拉自動出現內容，所以我們需要實作下拉捲軸：

print 'begin scroll to get info page...'
t1 = time.time()
n = 60   #这里可以控制网页滚动距离
for i in range(1,n+1):
    s = "window.scrollTo(0,document.body.scrollHeight/{0}*{1});".format(n,i)
    #输出滚动位置，网页大小，和时间
    print s, len(driver.page_source),time.time()-t1
    driver.execute_script(s)
    time.sleep(2)

其中driver.page_source就是要取得網頁文字。當滾動完畢後我們就可以呼叫它然後寫到一個檔案裡。這樣就完成這個的程序邏輯了。

進階：

用selenim可以應付常見的反爬蟲策略，因為相當於一個人在瀏覽網頁，但是對於驗證碼這些還需要做額外的處理，還有一點就是訪問速度不能過快，畢竟他需要調用一個瀏覽器，如果嫌他速度慢的話我們可以在必要的時候使用他，非必要時候可以使用requests庫進行操作。

這裡有兩篇部落格大家可以參考查閱：Python爬蟲利器五之Selenium用法 和 常用函數 

以上是詳解python爬蟲利器Selenium使用方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！