Wie extrahiere ich sichtbare Webseiteninhalte mit BeautifulSoup?

So effektiv Scraping von sichtbaren Webseiteninhalten

Beim Web Scraping werden spezifische Daten aus Webseiten extrahiert, es kann jedoch schwierig sein, die Ergebnisse einzuschränken nur auf den sichtbaren Text. BeautifulSoup, eine beliebte Web-Scraping-Bibliothek, vereinfacht diesen Prozess.

Das Problem verstehen

Um sichtbaren Text zu scrapen, ist es wichtig, Elemente wie Skripte (<script> ), Kommentare (<!-- -->), CSS (<style>) und andere nicht sichtbare Elemente Inhalt.</script>

Die Lösung mit BeautifulSoup

Hier ist eine einfache Lösung mit der findAll()-Methode von BeautifulSoup und einem benutzerdefinierten Filter:

from bs4 import BeautifulSoup
from bs4.element import Comment
from urllib.request import urlopen

def tag_visible(element):
    if element.parent.name in ['style', 'script', 'head', 'title', 'meta', '[document]']:
        return False
    if isinstance(element, Comment):
        return False
    return True

def text_from_html(body):
    soup = BeautifulSoup(body, 'html.parser')
    texts = soup.findAll(text=True)
    visible_texts = filter(tag_visible, texts)  
    return " ".join(t.strip() for t in visible_texts)

html = urlopen('http://www.nytimes.com/2009/12/21/us/21storm.html').read()
print(text_from_html(html))

Erklärung

Die Code:

• Definiert eine Funktion tag_visible(), um unerwünschte Tags und Kommentare auszuschließen.
• Verwendet filter(), um die Funktion tag_visible() auf alle gefundenen Textelemente (Texte) anzuwenden das BeautifulSoup-Objekt.
• Fügt die sichtbaren Texte zu einer einzigen Zeichenfolge zusammen.
• Ruft den HTML-Code der angegebenen URL ab mit urlopen().

Das obige ist der detaillierte Inhalt vonWie extrahiere ich sichtbare Webseiteninhalte mit BeautifulSoup?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!