celery redis requests를 사용하여 크롤러를 작성하고 속도를 직접 테스트하고 싶습니다. URL의 상태 코드를 수집하여 파일에 넣습니다.
으아아아결과가 매우 빨랐고 매우 만족합니다
으아아아싱글 스레드와의 비교
으아아아하지만 작업 결과를 출력하면 결과를 하나씩 가져오는 단일 스레드가 됩니다
으아아아작업 외의 명령문이 있는 한 속도는 느려집니다.
이제 결과적으로 요청부터 구문 분석, 다운로드, 데이터베이스 저장, 셀러리를 통한 예약까지 완전한 작업을 작성해야 합니다.
하지만 때로는 파일에 쓰는 것과 같이 한 줄을 쓰고 연결을 한 번 닫는 대신 한 번에 모두 쓰고 연결을 닫고 싶을 때도 있습니다.
좀 길었는데 모두 감사합니다.
