python - 请问scrapy中如何设置request的重试次数

Question

scrapy版本：1.1.2
python 版本：3.5

在使用scrapy抓取数据的时候使用了代理IP，难免会遇到代理IP失效的情况。

因为对数据完整性要求较高，请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取？

Answer 1

Anda boleh menggunakan scrapy.downloadermiddlewares.retry.RetryMiddleware middleware yang disertakan dengan scrapy, dan kemudian konfigurasikannya melalui parameter ini:
RETRY_ENABLED: sama ada untuk mendayakan cuba semula
RETRY_TIMES: bilangan percubaan semula
RETRY_HTTP_CODECS : Anda perlu mencuba semula apabila anda menemui sebarang kod http Lalai ialah 500, 502, 503, 504, 408. Untuk masalah lain seperti tamat masa sambungan rangkaian, ia juga akan dicuba semula secara automatik