如何在 Selenium WebDriver for Python 中有效检测页面何时完成加载新内容？

使用 Selenium WebDriver for Python 等待页面加载

优化网页抓取性能至关重要，确定页面何时完全加载是最重要的对于有效的数据提取至关重要。在无限滚动场景下，盲目等待固定时长可能效率低下。因此，问题出现了：我们如何检测页面滚动后何时完成加载新内容？

一种解决方案是利用 WebDriverWait，它允许基于特定元素的等待条件。我们可以指示 WebDriver 等待特定元素出现，表明页面已准备好，而不是等待固定的持续时间。

答案中提供的代码演示了这种方法：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

# Set up the webdriver and navigate to the target page
browser = webdriver.Firefox()
browser.get("url")

# Define the element to wait for, in this case, an element with a specific ID
element_id = 'IdOfMyElement'

# Set a reasonable waiting time
delay = 3  # seconds

try:
    # Use WebDriverWait to wait for the element to appear
    myElem = WebDriverWait(browser, delay).until(EC.presence_of_element_located((By.ID, element_id)))

    # If the element is found, proceed with data extraction
    print("Page is ready!")
except TimeoutException:
    # If the element is not found within the time frame, raise an exception
    print("Loading took too much time!")

通过根据页面的特定结构自定义要等待的元素，我们可以确保 WebDriver 仅等待页面的必要部分加载完毕。这种方法显着提高了网页抓取过程的效率，避免了不必要的等待。

以上是如何在 Selenium WebDriver for Python 中有效检测页面何时完成加载新内容？的详细内容。更多信息请关注PHP中文网其他相关文章！