Comment écrire un framework de robot complet

Cet article vous explique principalement comment écrire complètement une méthode de requête pour un framework de robot d'exploration. Il a une bonne valeur de référence et j'espère qu'il sera utile à tout le monde. Suivons l'éditeur pour y jeter un œil, j'espère que cela pourra aider tout le monde.

Générer un framework de robot :

1 Créer un projet de robot Scrapy

2. Le robot Scrapy est généré dans le projet

3. Configurez le robot d'exploration

4. Exécutez le robot et obtenez la page Web .

Opérations spécifiques :

1. Créer un projet

Définir un projet avec le nom : python123demo

Méthode :

Dans cmd, d : Entrer le lecteur d, cd pycodes Entrer le fichier pycodes

Puis entrez

scrapy startproject python123demo

Un fichier sera généré dans les pycodes :

_init_.py ne nécessite pas d'écriture de l'utilisateur

2. Générer un robot Scrapy dans le projet

Exécutez une commande pour générer le nom du robot et le site Web analysé

Générer le robot :

Générer un nom L'araignée

pour la démo ne peut générer que demo.py, son contenu est :

name = 'demo' Le nom actuel du robot est demo

allowed_domains = " Explorez les liens situés sous le nom de domaine du site Web. Le nom de domaine est saisi à partir du console de commande cmd

start_urls = [] La page initiale analysée

parse() est utilisée pour traiter la réponse, analyser le contenu pour former un dictionnaire et découvrez de nouvelles demandes d'exploration d'URL

3. Configurez le robot d'exploration généré pour répondre à nos besoins

Enregistrer. la page analysée dans un fichier

Modifier le fichier demo.py

4. Exécutez le robot d'exploration et obtenez la page Web

Ouvrez cmd et entrez la ligne de commande pour explorer

Ensuite, une erreur est apparue sur mon ordinateur

Pour résoudre ce problème sur le système Windows, vous devez installer le module Py32Win, mais l'installation de l'exe directement via le lien du site officiel provoquera des centaines d'erreurs, le moyen le plus pratique est

<.>

pip3 install pypiwin32

C'est la solution pour py3

Remarque : si vous utilisez le Commande pip install pypiwin32 pour la version py3, une erreur se produira

Une fois l'installation terminée, exécutez à nouveau le robot, succès ! Jetez des fleurs !

La page capturée est stockée dans le fichier demo.html

Le code complet correspondant à demo.py :

Les deux versions sont équivalentes :

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!