Comment puis-je récupérer du contenu JavaScript dynamique en Python ?

Scrape le contenu dynamique généré par JavaScript en Python

Le Web scraping rencontre souvent des pages avec du contenu dynamique alimenté par JavaScript. Pour gratter efficacement ces pages, l'exécution du code JavaScript est essentielle.

Utilisation de Selenium avec PhantomJS

Selenium est une bibliothèque Python populaire pour automatiser les navigateurs Web. Il peut être utilisé avec PhantomJS, un navigateur sans tête, pour afficher des pages Web et exécuter JavaScript.

1. Assurez-vous que PhantomJS est installé et disponible dans votre chemin.
2. Installez Selenium à l'aide de pip install selenium .
3. Utilisez ce qui suit code :

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get(my_url)
p_element = driver.find_element_by_id(id_='intro-text')
print(p_element.text)

Utilisation de dryscrape

Dryscrape est une autre bibliothèque Python spécialement conçue pour scraper des sites Web pilotés par JavaScript.

1. Installez dryscrape à l'aide de pip install dryscrape.
2. Utilisez ce qui suit code :

import dryscrape
from bs4 import BeautifulSoup

session = dryscrape.Session()
session.visit(my_url)
response = session.body()
soup = BeautifulSoup(response)
soup.find(id="intro-text")

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!