Python Scrapy IP プロキシの設定例を共有する
- PHP中文网オリジナル
- 2017-06-20 16:43:232730ブラウズ
scrapy プロジェクトの Spider と同じレベルに Python ディレクトリを作成し、その内容を含む py ファイルを以下に追加します
# encoding: utf-8 import base64 proxyServer = 代理服务器地址 ##我的是‘:9010’ # 代理隧道验证信息 这个是在那个网站上申请的 proxyUser = 用户名 proxyPass = 密码 proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass) class ProxyMiddleware(object): def process_request(self, request, spider): request.meta["proxy"] = proxyServer request.headers["Proxy-Authorization"] = proxyAuth 在setting文件中添加
DOWNLOADER_MIDDLEWARES = {
'项目名.spider同级文件名.文件名.ProxyMiddleware': 543,
}
代码地址
<br>
以上がPython Scrapy IP プロキシの設定例を共有するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
声明：
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。