웹 크롤러 - Python의 다중 프로세스에서 요청에 협력하는 방법
이것은 단일 프로세스 순차 실행을 위한 코드입니다:
으아악다중 프로세스용 코드는 다음과 같습니다.
으아악하지만 단일 프로세스와 다중 프로세스에서 소요되는 시간은 거의 차이가 없습니다. 문제는 아마도 블록 IO를 요청하는 것입니다. 다중 프로세스의 목적을 달성하려면 코드를 어떻게 수정해야 합니까?
감사합니다!
이것은 단일 프로세스 순차 실행을 위한 코드입니다:
으아악다중 프로세스용 코드는 다음과 같습니다.
으아악하지만 단일 프로세스와 다중 프로세스에서 소요되는 시간은 거의 차이가 없습니다. 문제는 아마도 블록 IO를 요청하는 것입니다. 다중 프로세스의 목적을 달성하려면 코드를 어떻게 수정해야 합니까?
감사합니다!
phpcn_u15822017-06-22 11:54:30
파일 쓰기의 병목 현상은 CPU가 아닌 디스크 IO입니다. 병렬 처리는 별로 효과가 없습니다. 파일을 쓰지 않고 시간을 비교해보세요
怪我咯2017-06-22 11:54:30
매개변수가 없는 풀은
os.cpu_count() 또는 1
을 사용합니다. 단일 코어 CPU이거나 개수를 수집할 수 없는 경우 프로세스는 하나만 있습니다.
그 이유가 있겠네요.
