Warum bekomme ich den Fehler 'Listenliste außerhalb des Reichweite' bei der Verwendung von Python Crawler?

Fehler "Listenindex außerhalb des Bereichs" Fehler in Python Crawler: Ursache und Lösung

Wenn Sie Python und BeautifulSoup für das Web -Crawling verwenden, stoßen Sie häufig list index out of range . Dieses Problem kann auch dann auftreten, wenn der Code nicht geändert wird, insbesondere wenn es sich um dynamische Webseiten oder Website -Strukturänderungen handelt. Dieser Artikel analysiert die Ursache dieses Fehlers und bietet eine effektive Lösung.

Hier ist ein Beispielcode, der demonstriert, was diesen Fehler verursachen könnte:

 Anfragen importieren
Aus BS4 Import BeautifulSoup

Headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebkit/537.36 (KHTML, wie Gecko) Chrome/124.0.0.0 Safari/537.36 EDG/124.0.0.0'}
Antwort = Requests.get ("https://www.iqiyi.com/ranks1/3/0", Headers = Headers)
print (Antwort.Status_code)
Antwort = Antwort.text
Suppe = BeautifulSoup (Antwort, "html.parser")

Def extract_data ():
    titles = [title.get_text (). strip () für Titel in Suppe.find_all ("div", class _ = "rvi__tit1")]
    heat = [heat.get_text (). strip () für hitze in suppe.find_all ("span", class _ = "rvi__Index__num")]
    Einführungen = [intro.get_text (). Strip () für Intro in Suppe.find_all ("P", Klasse _ = "rvi__Des2")]
    Rückgabetitel, Wärme, Einführungen

Def display_data (Titel, Wärme, Einführungen):
    min_len = min (Len (Titel), Len (Hitze), Len (Einführungen))
    Für i in Reichweite (min_len):
        print (f "Ranking: {i 1}, Titel: {Titel [i]}, Popularität: {Wärme [i]}, Einführung: {Einführungen [i]}")


Wenn __name__ == '__main__':
    Titel, Wärme, Einführungen = extract_data ()
    display_data (Titel, Wärme, Einführungen)

In diesem Beispiel erfolgt list index out of range in display_data in der Lage ist, normalerweise in der DILD_DATA. Der Grund ist: Die Längen der drei Listen von titles , heat und introductions können inkonsistent sein. Wenn eine der Listen eine Länge von weniger als 10 (oder den Reichweite von Schleifen) hat, tritt bei dem Zugriff auf die Listenelemente ein Index-Fehler auf.

Lösung:

Der Schlüssel besteht darin, sicherzustellen, dass vor dem Zugriff auf das Listenelement die Länge der Liste überprüft wird und nur Elemente innerhalb des gültigen Indexbereichs zugegriffen werden. Der verbesserte Code lautet wie folgt:

 Anfragen importieren
Aus BS4 Import BeautifulSoup

# ... (Header und Anfrage bleibt gleich) ...

Def extract_data ():
    # ... (Extraktion bleibt gleich) ...

Def display_data (Titel, Wärme, Einführungen):
    min_len = min (Len (Titel), Len (Hitze), Len (Einführungen)) # Die kürzeste Liste finden
    Für i in Reichweite (min_len):
        print (f "Ranking: {i 1}, Titel: {Titel [i]}, Popularität: {Wärme [i]}, Einführung: {Einführungen [i]}")


Wenn __name__ == '__main__':
    Titel, Wärme, Einführungen = extract_data ()
    display_data (Titel, Wärme, Einführungen)

Durch die Berechnung der kürzesten Länge der drei Listen min_len und die Verwendung min_len als Bereich der Schleife stellen wir sicher, dass keine Elemente außerhalb des List -Indexbereichs zugegriffen werden, wodurch list index out of range unzureichend vermieden werden. Dies ist eine robustere Verarbeitungsmethode, die sich an Änderungen in verschiedenen Webseitenstrukturen und Datenvolumina anpassen kann. Zusätzlich ist das Hinzufügen von Fehlerbehandlungsmechanismen (z. B. try-except Blöcken) auch eine gute Programmierpraxis, die komplexere Situationen bewältigen kann.

Das obige ist der detaillierte Inhalt vonWarum bekomme ich den Fehler 'Listenliste außerhalb des Reichweite' bei der Verwendung von Python Crawler?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!