首頁  >  文章  >  後端開發  >  分享一篇python scrapy ip代理的設定實例

分享一篇python scrapy ip代理的設定實例

PHP中文网
PHP中文网原創
2017-06-20 16:43:232781瀏覽

在scrapy專案中建立一個與spider同級的python目錄並在下面加入一個py檔內容為

# encoding: utf-8
import base64
proxyServer = 代理服务器地址 ##我的是‘:9010’

# 代理隧道验证信息  这个是在那个网站上申请的
proxyUser = 用户名
proxyPass = 密码
proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass)

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta["proxy"] = proxyServer
        request.headers["Proxy-Authorization"] = proxyAuth

在setting文件中添加
DOWNLOADER_MIDDLEWARES = {
    '项目名.spider同级文件名.文件名.ProxyMiddleware': 543,
}

代码地址
<br>

以上是分享一篇python scrapy ip代理的設定實例的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn