Selenium WebDriver 如何在无限滚动场景下高效检测页面加载完成？

使用 Selenium WebDriver 检测无限滚动的页面加载完成

从采用无限滚动的页面中抓取数据时，确定新内容何时已完成完成加载对于高效执行至关重要。传统的方法，滚动到底部并等待固定的时间，可能会很浪费。

为了解决这个问题，Selenium WebDriver 提供了更精确地检测页面加载完成的方法。 WebDriverWait 提供了一种等待特定元素出现在页面上的机制，表明有新数据可用：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

browser = webdriver.Firefox()
browser.get("url")
delay = 3  # seconds
try:
    myElem = WebDriverWait(browser, delay).until(EC.presence_of_element_located((By.ID, 'IdOfMyElement')))
    print("Page is ready!")
except TimeoutException:
    print("Loading took too much time!")

浏览器等待指定 ID 的元素出现后再继续，确保新内容已加载。通过利用这种机制，脚本可以向下滚动，检测元素是否存在，并在页面加载完成后继续。这种方法优化了抓取过程，减少了不必要的等待时间。

以上是Selenium WebDriver 如何在无限滚动场景下高效检测页面加载完成？的详细内容。更多信息请关注PHP中文网其他相关文章！