Teilen Sie ein Beispiel für die Einrichtung eines Python-Scrapy-IP-Proxys

Erstellen Sie ein Python-Verzeichnis auf der gleichen Ebene wie Spider im Scrapy-Projekt und fügen Sie unten eine Py-Datei mit dem Inhalt

# encoding: utf-8
import base64
proxyServer = 代理服务器地址 ##我的是‘:9010’

# 代理隧道验证信息  这个是在那个网站上申请的
proxyUser = 用户名
proxyPass = 密码
proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass)

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta["proxy"] = proxyServer
        request.headers["Proxy-Authorization"] = proxyAuth

在setting文件中添加

DOWNLOADER_MIDDLEWARES = {
    '项目名.spider同级文件名.文件名.ProxyMiddleware': 543,
}

代码地址

<br>

hinzu

Das obige ist der detaillierte Inhalt vonTeilen Sie ein Beispiel für die Einrichtung eines Python-Scrapy-IP-Proxys. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!