Python 크롤러에는 몇 개의 스레드가 적합합니까?

최근에 전자상거래 웹사이트의 데이터를 크롤링하려고 합니다. 대행사와 유통을 고려하지 말고 먼저 효율성에 대해 이야기해 보겠습니다(물론 너무 빨리 요청하면 차단됩니다). 가리키다. 일반적인 상황에서 우리가 초보자라고 생각하는 첫 번째 것은 단일 스레드인 for 루프입니다. 그런 다음 for 루프를 사용하여 5개의 스레드를 직접 여는 것을 고려합니다. 문제는 URL 요청이 돌아오지 않으면 나머지는 이러한 방식으로 여러 스레드를 사용하는 것이 쓸모가 없다는 것입니다.

성능 고려 사항

우리는 당연히 멀티스레딩이나 멀티프로세스를 사용하는데, 멀티스레딩이나 멀티프로세스를 사용해야 할까요? 어떤 사람들은 멀티프로세스와 멀티스레딩에 대해 어떤 편견을 가지고 있나요? Python의 GIL Lock 때문에 이 두 가지의 차이점에 대해 이야기해 보겠습니다.

멀티 스레딩

일반적으로 .py 파일을 시작하면 프로세스를 시작하는 것과 같습니다. 기본적으로 하나의 프로세스에서 작동하는 멀티 스레딩은 하나에서 여러 스레드를 활성화하는 것을 의미합니다. 프로세스. .

하지만 멀티스레딩을 사용하는 이유는 무엇입니까?

프로세스를 시작할 때 집과 같은 메모리 공간을 만들어야 한다는 것을 알고 있습니다. 이 집에서는 한 사람을 한 스레드로 생각하면 됩니다. 일반적인 상황에서 20명이 있는 공간과는 다릅니다. 기본적으로 스레드가 서로 통신할 수 있다는 것을 알고 있기 때문입니다. (프로세스는 기본적으로 서로 통신할 수 없지만 파이프와 같은 기술을 사용하여 구현할 수 있습니다.) ). 멀티스레딩을 사용하면 계산된 데이터의 정확성을 보장할 수 있으므로 동시에 하나의 스레드만 계산할 수 있도록 GIL 잠금이 나타납니다.

기본적으로 GIL 잠금을 이해하면 예를 들어 이 방에 계산할 계정이 있는데 동시에 한 사람만 계정을 계산할 수 있다고 가정해 보겠습니다. , 10제곱미터의 방만 필요한데 왜 10명을 고용하고 20제곱미터를 써야 합니까? 따라서 더 많은 스레드를 열수록 좋은 것은 아닙니다. 하지만, 하지만, 이 계정을 계산할 때 모든 사람이 두뇌(CPU 계산)를 사용할 필요는 없다는 점을 참고하세요. 계산을 마친 후 결과를 기록합니다. 나중에 조정하기 위한 원장에는 모든 사람이 자신의 원장을 갖고 있으므로 멀티스레딩이 IO 작업에 적합하다고 해서 사람이 많을수록 좋다는 의미는 아닙니다. , 좋을수록 이 금액은 아직은 실제 상황에 따라 결정되어야 합니다.

위 내용은 Python 크롤러에는 몇 개의 스레드가 적합합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!