node.js - 노드 크롤러, 프록시 설정 요청, 항상 도움을 받기 위해 오류를 보고합니다.

Question

요청을 사용해 이미지를 크롤링했습니다. IP 주소가 차단되는 것을 방지하기 위해 프록시를 사용했습니다. 그런데 프록시를 사용한 후에는 항상 오류가 발생했습니다. nodejs는 요청 및 비동기 모듈을 사용합니다

으아악

download(item,cb), cb는 비동기식 제어 흐름의 콜백 함수입니다.

으아악

파일 몇 개를 다운로드한 후 매번 오류가 발생하고 작업이 중지됩니다.

으아악

프록시 요청 헤더를 제거하면 더 이상 요청을 계속하지 않고 직접 cb()로 변경하면 요청이 실패해도 오류가 보고되지 않습니다.

으아악

문제를 해결하는 데 도움을 줄 수 있는지 살펴보세요. 오랫동안 고민해 왔는데 이유를 모르겠습니다.

Answer 1

저는 이전과 거의 동일한 기능을 수행했습니다. 많은 사진을 직접 다운로드한 다음 오류를 보고했습니다. 마지막으로 다음과 유사하게 레이어 setTimeout를 래핑하려고 했습니다. 으아악

이건 실제로 좋습니다. 이에 대한 블로그 게시물을 썼습니다: nodejs 일괄 다운로드 사진, 참조할 수 있습니다

Answer 2

이런 종류의 문제가 발생하면 프로그램에 재시도 메커니즘이 있어야 합니다.
좋은 재시도 메커니즘은 다음 시도에서 올바른 실행을 보장하기 위해 절전 시간을 적절하게 늘리는 것입니다.