Comment implémenter le changement de page dans le robot d'exploration Python

De nombreux amis qui sont nouveaux dans les robots d'exploration Python rencontreront le problème de la rotation des pages dans les robots d'exploration Python. J'en présenterai un ici.

Le site Web qui doit être exploré est comme indiqué sur l'image

Il y a quatre pages de cette plante interrogées. Lorsque nous tournons habituellement les pages, notre première pensée est de cliquer sur la page suivante de la page. La même chose est vraie lors de l'écriture d'un robot d'exploration. Nous souhaitons extraire des liens sur la page pour y accéder. Mais cela s’avère fastidieux et inefficace.

Il existe généralement deux façons de tourner les pages :

1. Observez les changements de lien lorsque le site Web tourne les pages

2 Si la méthode de demande d'écriture d'un robot est un. demande de publication, puis il faut observer si les changements dans les données de publication sont réguliers

Aujourd'hui, je vais parler de la première méthode

Comme le montre l'image, lorsque je clique sur la page suivante , j'observe le changement de lien dans la barre d'adresse

Dans le lien, on peut être surpris de constater qu'il y a le mot clé page, et il se trouve que c'est 2. Allons testez-le et changez la valeur de la page dans le lien en 3, et constatez que l'accès est normal. C'est exactement la troisième page. Nous avons donc trouvé un moyen de tourner la page et de modifier la valeur du mot-clé dans le lien.

Les étapes du processus de rotation de page sont donc :

1. Obtenez le nombre total de pages Web

2. Utilisez une boucle for pour modifier la valeur de la page et. tourner la page.

Le code de tournage de page spécifique est implémenté comme suit :

Obtenir le numéro de page total

Méthode de demande de réseau

Modifiez la valeur de la page dans l'en-tête de la requête

Pour plus d'articles techniques liés à Python, veuillez visiter le Tutoriel Python rubrique pour apprendre !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!