Comment extraire le contenu visible d'une page Web à l'aide de BeautifulSoup ?

Comment récupérer efficacement le contenu visible d'une page Web

Le Web scraping implique l'extraction de données spécifiques à partir de pages Web, mais il peut être difficile de limiter les résultats uniquement au texte visible. BeautifulSoup, une bibliothèque de scraping Web populaire, simplifie ce processus.

Comprendre le problème

Pour récupérer le texte visible, il est crucial d'exclure des éléments tels que les scripts (<script> ), commentaires (<!-- -->), CSS (<style>) et autres éléments non visibles content.</script>

La solution avec BeautifulSoup

Voici une solution simple utilisant la méthode findAll() de BeautifulSoup et un filtre personnalisé :

from bs4 import BeautifulSoup
from bs4.element import Comment
from urllib.request import urlopen

def tag_visible(element):
    if element.parent.name in ['style', 'script', 'head', 'title', 'meta', '[document]']:
        return False
    if isinstance(element, Comment):
        return False
    return True

def text_from_html(body):
    soup = BeautifulSoup(body, 'html.parser')
    texts = soup.findAll(text=True)
    visible_texts = filter(tag_visible, texts)  
    return " ".join(t.strip() for t in visible_texts)

html = urlopen('http://www.nytimes.com/2009/12/21/us/21storm.html').read()
print(text_from_html(html))

Explication

Le code :

• Définit une fonction tag_visible() pour exclure les balises et commentaires indésirables.
• Utilise filter() pour appliquer la fonction tag_visible() à tous les éléments de texte (textes) trouvés dans l'objet BeautifulSoup.
• Joint les textes visibles en une seule chaîne.
• Récupère le HTML de l'URL spécifiée en utilisant urlopen().

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!