Dans le framework GO Crawler Colly, comment le réglage du nombre de threads de la file d'attente et du retard de demande affecte-t-il le traitement simultané des demandes?

Le nombre de threads de file d'attente et de demande de retard du framework de robot en langue GO colly

Le traitement efficace de la demande simultanée est crucial lors de l'utilisation du framework GO Crawler Colly. Cet article approchera de la façon dont les paramètres comptent les paramètres et demandent les retards dans queue dans Colly affectent le traitement simultané et répondent à une question commune.

Problème: interaction entre le nombre de threads et le retard de demande

Supposons que nous définissions queue sur 2:

 Q, _: = queue.new (2, stockage)

Et ajouté 3 demandes. Pendant ce temps, colly.Limit() est utilisé pour définir le retard de chaque demande à 5 secondes. On s'attend à ce que deux demandes soient émises presque simultanément et répondent après 5 secondes, et la troisième demande est retardée de 5 secondes supplémentaires. Cependant, le résultat réel est:

1. Deux demandes sont créées.
2. Après 5 secondes, la première demande répond et une troisième demande est créée.
3. Après 5 secondes, la deuxième demande répond.
4. Après 5 secondes, la troisième demande répond.

Ceci n'est pas traité en parallèle. Pourquoi le nombre de threads de queue semble-t-il échouer? colly.Limit() affecte-t-il la concurrence de la queue ? onrequest est-elle simplement en train de créer une demande, ne fait pas réellement de demande?

Analyse: Indépendance entre le nombre de threads et le retard de demande

queue de Colly gère le nombre de demandes simultanées, tandis que colly.Limit() définit le retard pour chaque demande. Les deux sont des mécanismes indépendants.

Le nombre de threads d' queue limite le nombre de demandes traitées simultanément. colly.Limit() applique un retard avant que chaque demande ne soit émise.

Dans le cas ci-dessus:

1. queue crée deux demandes, mais colly.Limit() les fait attendre 5 secondes.
2. La première demande est émise une fois le retard terminé. Après la réponse, queue libère un thread et crée une troisième demande.
3. La deuxième demande est également envoyée et répondu après avoir attendu 5 secondes.
4. La troisième demande est également envoyée et répondu après avoir attendu 5 secondes.

Par conséquent, le retard de demande masque la concurrence de queue .

onrequest RAPPEL ET DEMANDE

onrequest est licenciée lorsque la demande est ajoutée à queue , et non lorsque la demande est réellement émise. Il est utilisé pour effectuer des opérations de prétraitement avant la demande de la demande.

Conclusion: coordonner le nombre de threads et les retards de demande

Le retard de colly.Limit() affectera l'effet de concurrence du nombre de threads queue . Pour atteindre une véritable concurrence, une coordination minutieuse du nombre de threads et des paramètres de retard de demande est requise. Si une concurrence élevée est nécessaire, le retard fixé par colly.Limit() doit être minimisé ou supprimé, ou un mécanisme de contrôle de concurrence plus fin doit être pris en compte. Si vous avez besoin de contrôler la vitesse d'exploration, il est recommandé d'utiliser une méthode de contrôle granulaire plus fine au lieu de compter sur colly.Limit() .

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!