分享一篇python scrapy ip代理的设置实例
- PHP中文网原创
- 2017-06-20 16:43:232769浏览
在scrapy项目中建一个与spider同级的python目录并在下面添加一个py文件内容为
# encoding: utf-8 import base64 proxyServer = 代理服务器地址 ##我的是‘:9010’ # 代理隧道验证信息 这个是在那个网站上申请的 proxyUser = 用户名 proxyPass = 密码 proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass) class ProxyMiddleware(object): def process_request(self, request, spider): request.meta["proxy"] = proxyServer request.headers["Proxy-Authorization"] = proxyAuth 在setting文件中添加
DOWNLOADER_MIDDLEWARES = {
'项目名.spider同级文件名.文件名.ProxyMiddleware': 543,
}
代码地址
<br>
以上是分享一篇python scrapy ip代理的设置实例的详细内容。更多信息请关注PHP中文网其他相关文章！
声明：
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn