Ausführliche Erläuterung der Beispiele für rekursives Crawlen des Python-Crawler-Pakets BeautifulSoup

Python-Crawler-Paket BeautifulSoup Detaillierte Erläuterung der Beispiele für rekursives Crawling

Zusammenfassung:

Der Hauptzweck des Crawlers besteht darin, den erforderlichen Inhalt im Netzwerk zu crawlen. Ihr Wesen ist ein rekursiver Prozess. Sie müssen zuerst den Inhalt der Webseite abrufen, dann den Seiteninhalt analysieren und eine andere URL finden, dann den Seiteninhalt dieser URL abrufen und diesen Vorgang wiederholen.

Nehmen wir Wikipedia als Beispiel.

Wir möchten alle Links extrahieren, die auf andere Einträge im Kevin Bacon-Eintrag in Wikipedia verweisen.

# -*- coding: utf-8 -*-
# @Author: HaonanWu
# @Date:  2016-12-25 10:35:00
# @Last Modified by:  HaonanWu
# @Last Modified time: 2016-12-25 10:52:26
from urllib2 import urlopen
from bs4 import BeautifulSoup
 
html = urlopen('http://en.wikipedia.org/wiki/Kevin_Bacon')
bsObj = BeautifulSoup(html, "html.parser")
 
for link in bsObj.findAll("a"):
  if 'href' in link.attrs:
    print link.attrs['href']

Der obige Code kann alle Hyperlinks auf der Seite extrahieren.

/wiki/Wikipedia:Protection_policy#semi
#mw-head
#p-search
/wiki/Kevin_Bacon_(disambiguation)
/wiki/File:Kevin_Bacon_SDCC_2014.jpg
/wiki/San_Diego_Comic-Con
/wiki/Philadelphia
/wiki/Pennsylvania
/wiki/Kyra_Sedgwick

Erstens können die extrahierten URLs einige Duplikate enthalten.

Zweitens gibt es einige URLs, die wir nicht benötigen , wie Seitenleiste, Kopfzeile, Fußzeile, Link zur Verzeichnisleiste usw.

Durch Beobachtung können wir also feststellen, dass alle Links, die auf die Einstiegsseite verweisen, drei Merkmale aufweisen:

Sie befinden sich alle im div-Tag mit der ID bodyContent

Die URL-Link ist kein URL-Link, der Doppelpunkte enthält

sind alle relative Pfade, die mit /wiki/ beginnen (der vollständige absolute Pfad, der mit http beginnt, wird ebenfalls gecrawlt)

from urllib2 import urlopen
from bs4 import BeautifulSoup
import datetime
import random
import re
 
pages = set()
random.seed(datetime.datetime.now())
def getLinks(articleUrl):
  html = urlopen("http://en.wikipedia.org"+articleUrl)
  bsObj = BeautifulSoup(html, "html.parser")
  return bsObj.find("div", {"id":"bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$"))
 
links = getLinks("/wiki/Kevin_Bacon")
while len(links) > 0:
  newArticle = links[random.randint(0, len(links)-1)].attrs["href"]
  if newArticle not in pages:
    print(newArticle)
    pages.add(newArticle)
    links = getLinks(newArticle)

Der Parameter von getLinks ist /wiki/c2f4fa33b587e052ef537825d84e076a, und die URL der Seite wird durch Zusammenführen mit dem absoluten Pfad von Wikipedia erhalten. Erfassen Sie alle URLs, die auf andere Begriffe verweisen, über reguläre Ausdrücke und geben Sie sie an die Hauptfunktion zurück.

Die Hauptfunktion ruft rekursive Getlinks auf und greift zufällig auf eine nicht besuchte URL zu, bis keine Einträge mehr vorhanden sind oder sie aktiv stoppt.

Dieser Code kann die gesamte Wikipedia crawlen

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
 
pages = set()
def getLinks(pageUrl):
  global pages
  html = urlopen("http://en.wikipedia.org"+pageUrl)
  bsObj = BeautifulSoup(html, "html.parser")
  try:
    print(bsObj.h1.get_text())
    print(bsObj.find(id ="mw-content-text").findAll("p")[0])
    print(bsObj.find(id="ca-edit").find("span").find("a").attrs['href'])
  except AttributeError:
    print("This page is missing something! No worries though!")
 
  for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
    if 'href' in link.attrs:
      if link.attrs['href'] not in pages:
        #We have encountered a new page
        newPage = link.attrs['href']
        print("----------------\n"+newPage)
        pages.add(newPage)
        getLinks(newPage)
getLinks("")

Im Allgemeinen beträgt die Rekursionsgrenze von Python 1000 Mal um künstlich einen größeren Rekursionszähler festzulegen oder andere Mittel zu verwenden, damit der Code auch nach 1.000 Iterationen noch ausgeführt werden kann.

Vielen Dank fürs Lesen, ich hoffe, es kann Ihnen helfen, vielen Dank für Ihre Unterstützung dieser Website!

Weitere Beispiele für das rekursive Crawling des Python-Crawler-Pakets BeautifulSoup und verwandte Artikel finden Sie auf der chinesischen PHP-Website!