찾다

 >  Q&A  >  본문

python - 请问scrapy中如何设置request的重试次数

scrapy版本:1.1.2
python 版本:3.5

在使用scrapy抓取数据的时候使用了代理IP,难免会遇到代理IP失效的情况。

因为对数据完整性要求较高,请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取?

天蓬老师天蓬老师2802일 전909

모든 응답(1)나는 대답할 것이다

  • 阿神

    阿神2017-04-18 09:39:31

    crapy와 함께 제공되는 scrapy.downloadermiddlewares.retry.RetryMiddleware 미들웨어를 사용한 후 다음 매개변수를 통해 구성할 수 있습니다.
    RETRY_ENABLED: 재시도 활성화 여부
    RETRY_TIMES: 재시도 횟수
    RETRY_HTTP_CODECS : http 코드가 발견되면 다시 시도해야 합니다. 기본값은 500, 502, 503, 504, 408입니다. 네트워크 연결 시간 초과와 같은 다른 문제의 경우에도 자동으로 다시 시도됩니다.

    회신하다
    0
  • 취소회신하다