python - 请问scrapy中如何设置request的重试次数

Question

scrapy版本：1.1.2
python 版本：3.5

在使用scrapy抓取数据的时候使用了代理IP，难免会遇到代理IP失效的情况。

因为对数据完整性要求较高，请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取？

Answer 1

Vous pouvez utiliser le scrapy.downloadermiddlewares.retry.RetryMiddleware middleware fourni avec Scrapy, puis le configurer via ces paramètres :
RETRY_ENABLED : s'il faut activer les nouvelles tentatives
RETRY_TIMES : le nombre de tentatives
RETRY_HTTP_CODECS : Vous devez réessayer lorsque vous rencontrez un code http. La valeur par défaut est 500, 502, 503, 504, 408. Pour d'autres problèmes tels que l'expiration du délai de connexion réseau, il sera également automatiquement réessayé