Pourquoi est-ce que je reçois StaleElementException lors du scraping Web itératif sur Amazon ?

StaleElementException lors du scraping itératif du Web avec Python

Lors du scraping des résultats de recherche Amazon, des erreurs StaleElementException et ValueError surviennent lors de la pagination sur les pages suivantes. L'examen du problème suggère que les éléments de la page responsables de la navigation deviennent obsolètes ou indisponibles après le chargement initial de la page.

En examinant le code fourni, il semble que le problème puisse être lié à l'attente implicite. Bien que le code indique une attente de 10 secondes, cela ne garantit pas une pause complète de 10 secondes. Au lieu de cela, il autorise un temps d'attente maximum de 10 secondes, mais l'attente se terminera une fois l'élément cible trouvé.

Pour atténuer ce problème, une approche plus explicite est recommandée pour garantir la stabilité de la page avant d'exécuter les actions suivantes. Voici une solution alternative :

from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait as wait

driver.get('https://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=sonicare+toothbrush')

while True:
    try:
        wait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'a > span#pagnNextString'))).click()
    except TimeoutException:
        break

Cette solution utilise une attente explicite pour garantir que le bouton de la page suivante devient cliquable avant de tenter de naviguer. L'attente se poursuivra pendant un maximum de 10 secondes, ou jusqu'à ce que le bouton soit localisé et prêt à interagir. Cette approche élimine le problème des éléments obsolètes et garantit une automatisation fiable.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!