Explication détaillée des exemples d'exploration récursive du package d'exploration Python BeautifulSoup

Package d'exploration Python BeautifulSoup Explication détaillée des exemples d'exploration récursive

Résumé :

L'objectif principal du robot d'exploration est d'explorer le contenu requis le long du réseau. Leur essence est un processus récursif. Ils doivent d'abord obtenir le contenu de la page Web, puis analyser le contenu de la page et trouver une autre URL, puis obtenir le contenu de la page de cette URL et répéter ce processus.

Prenons Wikipédia comme exemple.

Nous souhaitons extraire tous les liens pointant vers d'autres entrées dans l'entrée Kevin Bacon dans Wikipédia.

# -*- coding: utf-8 -*-
# @Author: HaonanWu
# @Date:  2016-12-25 10:35:00
# @Last Modified by:  HaonanWu
# @Last Modified time: 2016-12-25 10:52:26
from urllib2 import urlopen
from bs4 import BeautifulSoup
 
html = urlopen('http://en.wikipedia.org/wiki/Kevin_Bacon')
bsObj = BeautifulSoup(html, "html.parser")
 
for link in bsObj.findAll("a"):
  if 'href' in link.attrs:
    print link.attrs['href']

Le code ci-dessus peut extraire tous les hyperliens de la page.

/wiki/Wikipedia:Protection_policy#semi
#mw-head
#p-search
/wiki/Kevin_Bacon_(disambiguation)
/wiki/File:Kevin_Bacon_SDCC_2014.jpg
/wiki/San_Diego_Comic-Con
/wiki/Philadelphia
/wiki/Pennsylvania
/wiki/Kyra_Sedgwick

Premièrement, les URL extraites peuvent avoir des doublons

Deuxièmement, certaines URL ne sont pas obligatoires. , comme la barre latérale, l'en-tête, le pied de page, le lien de la barre de répertoire, etc.

Ainsi par observation, nous pouvons constater que tous les liens pointant vers la page d'entrée ont trois caractéristiques :

Ils sont tous dans la balise div avec l'identifiant de bodyContent

Le Le lien URL n'est pas un lien URL contenant des deux-points

sont tous des chemins relatifs commençant par /wiki/ (le chemin absolu complet commençant par http sera également exploré)

from urllib2 import urlopen
from bs4 import BeautifulSoup
import datetime
import random
import re
 
pages = set()
random.seed(datetime.datetime.now())
def getLinks(articleUrl):
  html = urlopen("http://en.wikipedia.org"+articleUrl)
  bsObj = BeautifulSoup(html, "html.parser")
  return bsObj.find("div", {"id":"bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$"))
 
links = getLinks("/wiki/Kevin_Bacon")
while len(links) > 0:
  newArticle = links[random.randint(0, len(links)-1)].attrs["href"]
  if newArticle not in pages:
    print(newArticle)
    pages.add(newArticle)
    links = getLinks(newArticle)

Le paramètre de getLinks est /wiki/c2f4fa33b587e052ef537825d84e076a, et l'URL de la page est obtenue en la fusionnant avec le chemin absolu de Wikipédia. Capturez toutes les URL pointant vers d'autres termes via des expressions régulières et renvoyez-les à la fonction principale.

La fonction principale appelle des getlinks récursifs et accède de manière aléatoire à une URL non visitée jusqu'à ce qu'il n'y ait plus d'entrées ou qu'elle s'arrête activement.

Ce code peut explorer l'intégralité de Wikipédia

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
 
pages = set()
def getLinks(pageUrl):
  global pages
  html = urlopen("http://en.wikipedia.org"+pageUrl)
  bsObj = BeautifulSoup(html, "html.parser")
  try:
    print(bsObj.h1.get_text())
    print(bsObj.find(id ="mw-content-text").findAll("p")[0])
    print(bsObj.find(id="ca-edit").find("span").find("a").attrs['href'])
  except AttributeError:
    print("This page is missing something! No worries though!")
 
  for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
    if 'href' in link.attrs:
      if link.attrs['href'] not in pages:
        #We have encountered a new page
        newPage = link.attrs['href']
        print("----------------\n"+newPage)
        pages.add(newPage)
        getLinks(newPage)
getLinks("")

De manière générale, la limite de récursivité de Python est de 1000 fois. pour définir artificiellement un compteur de récursivité plus grand, ou utiliser d'autres moyens pour permettre au code de continuer à s'exécuter après 1 000 itérations.

Merci d'avoir lu, j'espère que cela pourra vous aider, merci pour votre soutien à ce site !

Pour plus d'exemples d'exploration récursive du package d'exploration Python BeautifulSoup et d'articles connexes, veuillez faire attention au site Web PHP chinois !