Wie wirkt sich die Einstellung von Warteschlangen und Anforderungsverzögerungen von Threads von GO Crawler Framework auf die gleichzeitige Verarbeitung von Anforderungen aus?

Die Anzahl der Warteschlangen und Anforderungsverzögerungen von Go Language Crawler Framework Colly

Eine effiziente gleichzeitige Anfrageverarbeitung ist bei der Verwendung des GO -Crawler -Framework -Colly von entscheidender Bedeutung. In diesem Artikel werden die Einstellungen der Thread -Zähler bewertet und Verzögerungen in queue in Colly anfordern, die die gleichzeitige Verarbeitung beeinflussen und eine gemeinsame Frage beantworten.

Problem: Interaktion zwischen der Anzahl der Threads und der Anforderungsverzögerung

Angenommen, wir setzen queue auf 2:

 q, _: = queue.new (2, Speicher)

Und fügte 3 Anfragen hinzu. In der Zwischenzeit wird colly.Limit() verwendet, um die Verzögerung jeder Anfrage auf 5 Sekunden festzulegen. Es wird erwartet, dass zwei Anfragen fast gleichzeitig ausgestellt werden und nach 5 Sekunden reagieren und die dritte Anfrage um weitere 5 Sekunden verzögert wird. Das tatsächliche Ergebnis ist jedoch:

1. Es werden zwei Anfragen erstellt.
2. Nach 5 Sekunden antwortet die erste Anfrage und es wird eine dritte Anfrage erstellt.
3. Nach 5 Sekunden antwortet die zweite Anfrage.
4. Nach 5 Sekunden antwortet die dritte Anfrage.

Dies wird nicht parallel verarbeitet. Warum scheint die Anzahl der queue zu scheitern? Beeinflusst colly.Limit() die Parallelität der queue ? Erstellt onrequest -Rückruffunktion nur eine Anfrage, ohne tatsächlich eine Anfrage zu stellen?

Analyse: Unabhängigkeit zwischen Anzahl der Threads und Anforderungsverzögerung

queue von Colly verwaltet die Anzahl der gleichzeitigen Anforderungen, während colly.Limit() die Verzögerung für jede Anforderung festlegt. Die beiden sind unabhängige Mechanismen.

Die Anzahl der Threads queue begrenzt die Anzahl der gleichzeitig verarbeiteten Anforderungen. colly.Limit() wendet eine Verzögerung an , bevor jede Anfrage ausgestellt wird.

Im obigen Fall:

1. queue erstellt zwei Anfragen, aber colly.Limit() lässt sie beide 5 Sekunden warten.
2. Die erste Anfrage wird nach Ablauf der Verzögerung ausgestellt. Nach der Antwort veröffentlicht queue einen Thread und erstellt eine dritte Anfrage.
3. Die zweite Anfrage wird ebenfalls gesendet und beantwortet, nachdem er 5 Sekunden lang gewartet wurde.
4. Die dritte Anfrage wird ebenfalls gesendet und beantwortet, nachdem er 5 Sekunden lang gewartet wurde.

Daher maskiert die Anforderung Verzögerung die Parallelität queue .

onrequest -Rückruf und Anfrage zur Ausgabezeit

onrequest -Rückruffunktion wird abgefeuert, wenn die Anforderung zur queue hinzugefügt wird, nicht wenn die Anfrage tatsächlich ausgestellt wird. Es wird verwendet, um einige Vorverarbeitungsvorgänge durchzuführen, bevor die Anfrage ausgestellt wird.

Schlussfolgerung: Koordinieren Sie die Anzahl der Threads und fordern Sie Verzögerungen an

Die Verzögerung von colly.Limit() wirkt sich auf den Gleichzeitigkeitseffekt der Anzahl der queue aus. Um eine echte Parallelität zu erreichen, ist eine sorgfältige Koordination der Thread -Anzahl und Anforderungsverzögerungseinstellungen erforderlich. Wenn eine hohe Parallelität erforderlich ist, sollte die von colly.Limit() festgelegte Verzögerung minimiert oder entfernt werden, oder ein feinerer Parallelitätskontrollmechanismus sollte berücksichtigt werden. Wenn Sie die Crawl -Geschwindigkeit steuern müssen, wird empfohlen, eine feinere Granularkontrollmethode zu verwenden, anstatt sich auf colly.Limit() zu verlassen.

Das obige ist der detaillierte Inhalt vonWie wirkt sich die Einstellung von Warteschlangen und Anforderungsverzögerungen von Threads von GO Crawler Framework auf die gleichzeitige Verarbeitung von Anforderungen aus?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!