Heim > Artikel > Backend-Entwicklung > So legen Sie die Proxy-IP für den Python-Crawler fest
So legen Sie die Proxy-IP für den Python-Crawler fest: Schreiben Sie zuerst die erhaltene IP-Adresse an den Proxy. Verwenden Sie dann Baidu, um festzustellen, ob der IP-Proxy erfolgreich ist, und fordern Sie schließlich die von der Webseite übergebenen Parameter an Seite und speichern Sie sie lokal.
【Verwandte Lernempfehlungen:Python-Tutorial】
So legen Sie eine Proxy-IP für den Python-Crawler fest:
Das Festlegen eines IP-Proxys ist eine wesentliche Fähigkeit für Crawler;
Diese Maschine ansehen IP-Adresse; Öffnen Sie Baidu, geben Sie „IP-Adresse“ ein. Sie können die IP-Adresse des Geräts sehen.
In diesem Artikel wird die kostenlose IP verwendet Bitte achten Sie darauf, ob das Übertragungsprotokoll http oder https ist. Der Code lautet wie folgt:
# 用到的库 import requests # 写入获取到的ip地址到proxy proxy = { 'https':'221.178.232.130:8080' } # 用百度检测ip代理是否成功 url = 'https://www.baidu.com/s?' # 请求网页传的参数 params={ 'wd':'ip地址' } # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36' } # 发送get请求 response = requests.get(url=url,headers=headers,params=params,proxies=proxy) # 获取返回页面保存到本地,便于查看 with open('ip.html','w',encoding='utf-8') as f: f.write(response.text)
Öffnen Sie die gespeicherte „ip.html“ und sehen Sie sich den Inhalt wie folgt an:
Das obige ist der detaillierte Inhalt vonSo legen Sie die Proxy-IP für den Python-Crawler fest. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!