Heim  >  Artikel  >  Backend-Entwicklung  >  So legen Sie die Proxy-IP für den Python-Crawler fest

So legen Sie die Proxy-IP für den Python-Crawler fest

coldplay.xixi
coldplay.xixiOriginal
2020-08-22 10:51:4013297Durchsuche

So legen Sie die Proxy-IP für den Python-Crawler fest: Schreiben Sie zuerst die erhaltene IP-Adresse an den Proxy. Verwenden Sie dann Baidu, um festzustellen, ob der IP-Proxy erfolgreich ist, und fordern Sie schließlich die von der Webseite übergebenen Parameter an Seite und speichern Sie sie lokal.

So legen Sie die Proxy-IP für den Python-Crawler fest

Verwandte Lernempfehlungen:Python-Tutorial

So legen Sie eine Proxy-IP für den Python-Crawler fest:

Das Festlegen eines IP-Proxys ist eine wesentliche Fähigkeit für Crawler;

Diese Maschine ansehen IP-Adresse; Öffnen Sie Baidu, geben Sie „IP-Adresse“ ein. Sie können die IP-Adresse des Geräts sehen.

So legen Sie die Proxy-IP für den Python-Crawler fest

In diesem Artikel wird die kostenlose IP verwendet Bitte achten Sie darauf, ob das Übertragungsprotokoll http oder https ist. Der Code lautet wie folgt:

# 用到的库
import requests
# 写入获取到的ip地址到proxy
proxy = {
    'https':'221.178.232.130:8080'
}
# 用百度检测ip代理是否成功
url = 'https://www.baidu.com/s?'
# 请求网页传的参数
params={
    'wd':'ip地址'
}
# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地,便于查看
with open('ip.html','w',encoding='utf-8') as f:
    f.write(response.text)

Öffnen Sie die gespeicherte „ip.html“ und sehen Sie sich den Inhalt wie folgt an:

Das obige ist der detaillierte Inhalt vonSo legen Sie die Proxy-IP für den Python-Crawler fest. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn