Go 's Crawler Colly의 큐 스레드의 문제는 무엇입니까?

Go Crawler Colly의 요청 대기열 및 스레드 동시성 : 심도있는 토론

Colly Crawler Go 라이브러리를 사용할 때는 요청 큐 및 스레드 동시성 메커니즘을 이해하는 것이 중요합니다. 이 기사는 Colly의 큐 스레드 수와 요청 지연 사이의 상호 작용을 분석하고 "Go Crawler Colly의 대기열 스레드 문제"에 대답합니다.

예를 들어 설명하기 위해 예제를 사용합니다. 큐 스레드 수를 2로 설정하고 q, _ := queue.New(2, storage) 사용하여 큐를 만들고 세 가지 요청을 추가하십시오. 효과를 관찰하려면 수집기 지연을 5 초로 설정하십시오. 직관적으로, 두 요청은 거의 동시에 발행되어야하며 5 초 후에 반환해야합니다. 세 번째 요청은 10 초 후에 실행됩니다.

그러나 실제 결과는 다릅니다.

1. 두 가지 요청이 생성됩니다.
2. 5 초 후에 첫 번째 요청이 반환됩니다.
3. 세 번째 요청이 생성됩니다.
4. 5 초 후에 두 번째 요청이 반환됩니다.
5. 5 초 후에 세 번째 요청이 반환됩니다.

이는 Colly의 수집가가 요청을 처리 할 때 큐의 전반적인 상황을 고려하지만 요청 자체의 지연은 실제 실행 시간에 영향을 미칩니다. 큐 스레드 수는 동시 요청 수를 제한하지만 요청이 설정되면 지연이 스레드 수의 동시 한계 효과를 대체합니다. 각 요청은 이전 요청이 완료된 후 실제 병렬로 처리되지 않고 다른 5 초로 지연됩니다.

Colly의 OnRequest 콜백 함수는 요청이 발행 될 때가 아니라 요청이 생성 될 때 해고됩니다. 요청 발급 시간을 제어하기보다는 요청 발급 전에 전처리에 주로 사용됩니다. 실제 요청 발급 시간은 수집기의 지연 설정에 의해 결정됩니다.

따라서 요청이 지연되도록 설정되면 Colly 대기열의 스레드 수는 동시성에 거의 영향을 미치지 않으며 요청의 순서와 시간은 주로 수집기의 지연 설정에 의해 제어됩니다. 이것은 Colly의 대기열 메커니즘과 동시성 제어에 대한 명확한 이해를 갖는 데 도움이됩니다.

위 내용은 Go 's Crawler Colly의 큐 스레드의 문제는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!