scrapy版本:1.1.2
python 版本:3.5
在使用scrapy抓取数据的时候使用了代理IP,难免会遇到代理IP失效的情况。
因为对数据完整性要求较高,请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取?
阿神2017-04-18 09:39:31
crapy와 함께 제공되는 scrapy.downloadermiddlewares.retry.RetryMiddleware
미들웨어를 사용한 후 다음 매개변수를 통해 구성할 수 있습니다. RETRY_ENABLED
: 재시도 활성화 여부RETRY_TIMES
: 재시도 횟수 RETRY_HTTP_CODECS
: http 코드가 발견되면 다시 시도해야 합니다. 기본값은 500, 502, 503, 504, 408입니다. 네트워크 연결 시간 초과와 같은 다른 문제의 경우에도 자동으로 다시 시도됩니다.