ホームページ  >  記事  >  バックエンド開発  >  Python クローラー Scrapy はプロキシ構成を使用します

Python クローラー Scrapy はプロキシ構成を使用します

高洛峰
高洛峰オリジナル
2016-10-17 13:56:572291ブラウズ

Web サイトのコンテンツをクロールするときに発生する最も一般的な問題は、Web サイトに IP 制限があり、クロール防止機能があることです。最善の方法は、IP クロールをローテーションする (プロキシを追加する) ことです

Scrapy エージェントの設定方法について話しましょう。

をクロールします 1. Scrapy プロジェクトの下に新しい「middlewares.py」を作成します

2. プロジェクト設定ファイル (./pythontab/settings.py) に

を追加します

声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。