网页爬虫 - Python+Selenium+PhantomJs爬虫,如何取得新打开页面的源码？

Question

我在做一个python爬虫，使用了selenium库和phantomjs浏览器。我在一个网页中触发了一个click事件打开了一个新的网页，然后我用browser.page_source得到的却是原来那个网页非新打开网页的源码，请问我该如何取得新打开页面的源码呢？

Answer 1

如果連結打開了一個新標籤頁的話，你的driver還是下預設使用的還是當前窗口，

Alternatively, you can pass a “window handle” to the “switch_to_window()” method. Knowing this, it’s possible to iterate over every open window like so:

for handle in driver.window_handles:
    driver.switch_to_window(handle)

例如，如果你的瀏覽器有幾個標籤頁，那麼window_handles就儲存了對應這幾個標籤頁對應的實例對象，所以如果你目前只開啟了一個網頁，那麼你新開啟的頁面就是window_handles[1 ]
轉換到那個頁面後，再取得原始碼。

Answer 2

如果是在當前視窗打開，有可能因為新頁面還沒有加載完成，到時拿不到新頁面的url和數據，這裡可以使用等待，並設置一些條件，確保新頁面加載完成再進行操作，代碼如下：

from selenium.webdriver.support.ui import WebDriverWait
# 等待新页面生成
WebDriverWait(self.browser, 5).until(
    expected_conditions.presence_of_element_located((By.ID, "username")
    )