Pièges rencontrés dans les robots d'exploration multithread Python

Les méthodes d'exploration multithread Python incluent des méthodes d'objet fonctionnel et de classe. 1. Fonctionnel start_new_thread(func,args[]). L'exemple de code est le suivant :

Figure 1 : Multi-threading fonctionnel

2. L'exemple de code de la méthode d'appel de l'objet de classe la classe Thread est la suivante :

Figure 2 : Structure et processus du code multithread de l'objet de classe :

Présentation du threading module

Définir les sous-classes myThread hérite de la classe threading.Thread.

Redéfinir la méthode run() de la classe parent Thread et exécuter le code de fonction qu'elle contient

Instancier l'objet thread

Commencer à exécuter le thread start()

Rejoignez la file d'attente des threads jusqu'à ce que l'exécution soit terminée, join().

Problèmes rencontrés :

Lors de la définition d'une sous-classe, une erreur s'est produite dans la définition de la classe et dans la méthode de référence print_time() au sein de la classe. Le code spécifique et l'erreur sont affichés. dans la figure 2 et la figure 3 illustrée.

Figure 2 : Code d'erreur

Figure 3 : Message d'erreur

2 .Problèmes rencontrés dans le processus de demande spécifique d'exploration des informations sur la page Web http://www.78b2b.com/lianghuizhuanti/324826_1.html. Le code spécifique est présenté dans la figure 4 :

Figure 4 : Code d'application spécifique

L'intention du code consiste à utiliser le multithreading pour explorer le rapport d'activité du gouvernement du Liaoning 2020 à partir de 13 pages Web et l'enregistrer dans un fichier TXT local. Pendant le processus d'exécution, toutes les pages Web sont ouvertes, mais les données de stockage TXT sont incomplètes et le contenu. est écrit à plusieurs reprises.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!