Python - Scrapy で CrawlSpider を使用すると、URL が一致しない

Question

私のクローラコードは以下の通りですが、ルールが取得できません。何が問題なのか分かりません。

リーリー

実行エラーリマインダー:

リーリー

Answer 1

主な問題は allow_domains です。このようにコードを作成すると、リンクをキャプチャできます。 リーリー

主に

文字列。 allow_domain别带上http://

さらに、解析モジュールに問題があります。私はそれを変更していません。データを取得したら、自分で変更できるはずです。

また、前のクラスメートについて文句を言わせてください。彼はコードをまったくデバッグしていませんでしたが、それでもこのように答えました。それは明らかに誤解を招きます。

Answer 2

いくつかのモジュールコンポーネントが非推奨になり、代わりに同様のモジュールを使用できるようになりました

Answer 3

警告のみで、エラーはありません。もしかしたら、クロールしたWebサイトがクローラー対策されているため、正常に取得できなくなっている可能性があります。