Python - Scrapy は実際に項目を入力するよりも多くのページをクロールしますか?

Question

リーリー

scrapy を使用してクロールすると、実際にアイテムを入力するより多くのページにアクセスするのはなぜですか?
これは、長時間クロールした後、アイテムにあまりデータが入っていないだけです。
それを解決する方法は？

Answer 1

リダイレクトされました。ご覧のとおり、リダイレクトには 2 ページをリクエストする必要があります。また、ページ解析エラーがないかどうかも確認してください。