python - Scrapy explore beaucoup plus de pages qu'il n'entre réellement d'éléments ?

Question

2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:
Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)

Pourquoi est-ce que je visite plus de pages que de saisies d'éléments lorsque j'utilise Scrapy pour explorer ?
C'est juste qu'après une longue exploration, il n'y a pas beaucoup de données dans les éléments
Y a-t-il un moyen de résoudre ce problème ?

Answer 1

Redirection, comme vous pouvez le constater, la redirection nécessite que deux pages soient demandées. Vérifiez également s’il y a des erreurs d’analyse de page.