Web サイトのコンテンツをクロールするときに発生する最も一般的な問題は、Web サイトに IP 制限があり、クロール防止機能があることです。最善の方法は、IP クロールをローテーションする (プロキシを追加する) ことです
Scrapy エージェントの設定方法について話しましょう。
をクロールします 1. Scrapy プロジェクトの下に新しい「middlewares.py」を作成します
2. プロジェクト設定ファイル (./pythontab/settings.py) に
を追加します