Go Crawler 프레임 워크에서 큐의 스레드 수 설정과 요청 지연이 요청의 동시 처리에 어떤 영향을 미칩니 까?

큐 스레드 수와 요청 지연 지연 언어 크롤러 프레임 워크 콜리

Go Crawler 프레임 워크를 Colly를 사용할 때 효율적인 동시 요청 처리가 중요합니다. 이 기사는 스레드 카운트 설정 설정을 파고 Colly의 queue 의 지연이 동시 처리에 영향을 미치고 일반적인 질문에 대답합니다.

문제 : 스레드 수와 요청 지연 사이의 상호 작용

queue 의 스레드 수를 2로 설정했다고 가정합니다.

 q, _ : = queue.new (2, 스토리지)

3 개의 요청을 추가했습니다. 한편 colly.Limit() 각 요청의 지연을 5 초로 설정하는 데 사용됩니다. 두 개의 요청이 거의 동시에 발행되고 5 초 후에 응답 할 것으로 예상되며, 세 번째 요청은 5 초로 지연됩니다. 그러나 실제 결과는 다음과 같습니다.

1. 두 가지 요청이 생성됩니다.
2. 5 초 후에 첫 번째 요청이 응답하고 세 번째 요청이 생성됩니다.
3. 5 초 후 두 번째 요청이 응답합니다.
4. 5 초 후에 세 번째 요청이 응답합니다.

이것은 병렬로 처리되지 않습니다. queue 의 스레드 수가 실패하는 이유는 무엇입니까? colly.Limit() 가 queue 의 동시성에 영향을 미칩니 까? onrequest 콜백 함수는 실제로 요청을하지 않고 요청을 작성합니까?

분석 : 스레드 수와 요청 지연 사이의 독립성

Colly의 queue 동시 요청 수를 관리하고 colly.Limit() 는 각 요청에 대한 지연을 설정합니다. 둘은 독립적 인 메커니즘입니다.

queue 의 스레드 수는 동시에 처리 된 요청 수를 제한합니다. colly.Limit() 각 요청이 발행되기 전에 지연을 적용합니다.

위의 경우 :

1. queue 두 개의 요청을 생성하지만 colly.Limit() 둘 다 5 초 동안 기다립니다.
2. 첫 번째 요청은 지연이 끝난 후 발행됩니다. 응답 후 queue 스레드를 출시하고 세 번째 요청을 만듭니다.
3. 두 번째 요청은 5 초 동안 기다린 후에도 보내지고 응답합니다.
4. 세 번째 요청은 5 초 동안 기다린 후에도 보내지고 응답합니다.

따라서 요청 지연은 queue 의 동시성을 마스킹합니다.

onrequest 콜백 및 요청 발급 시간

요청이 실제로 발행 될 때가 아니라 요청이 queue 에 추가되면 onrequest 콜백 함수가 해고됩니다. 요청이 발행되기 전에 일부 전처리 작업을 수행하는 데 사용됩니다.

결론 : 스레드 수를 조정하고 지연을 요청하십시오

colly.Limit() 의 지연은 queue 스레드 수의 동시성 효과에 영향을 미칩니다. 진정한 동시성을 달성하려면 스레드 수를 신중하게 조정하고 요청 지연 설정이 필요합니다. 높은 동시성이 필요한 경우 colly.Limit() 에 의해 설정된 지연을 최소화하거나 제거하거나 더 미세한 동시성 제어 메커니즘을 고려해야합니다. 크롤링 속도를 제어 해야하는 경우 colly.Limit() 에 의존하는 대신 더 미세한 세분화 제어 방법을 사용하는 것이 좋습니다.

위 내용은 Go Crawler 프레임 워크에서 큐의 스레드 수 설정과 요청 지연이 요청의 동시 처리에 어떤 영향을 미칩니 까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!