Python クローラーのプロキシ IP を設定する方法

Python クローラーがプロキシ IP を設定する方法: 最初に取得した IP アドレスをプロキシに書き込み、次に Baidu を使用して IP プロキシが成功したかどうかを検出し、Web ページによって渡されたパラメータをリクエストし、最後に get を送信します。リクエストして戻りページを取得し、ローカルに保存します。

【関連する学習の推奨事項: Python チュートリアル ]

Python クローラーのプロキシ IP を設定する方法:

IP プロキシの設定はクローラーにとって不可欠なスキルです;

ローカル IP アドレスを表示します。Baidu を開いて「IP アドレス」と入力します。 」と表示されると、このマシンの IP アドレスが表示されます;

##この記事では goubanjia.com の無料 IP を使用します;

使用する場合、送信プロトコルが http か https であることに注意してください。コードは次のとおりです;

# 用到的库
import requests
# 写入获取到的ip地址到proxy
proxy = {
    'https':'221.178.232.130:8080'
}
# 用百度检测ip代理是否成功
url = 'https://www.baidu.com/s?'
# 请求网页传的参数
params={
    'wd':'ip地址'
}
# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地，便于查看
with open('ip.html','w',encoding='utf-8') as f:
    f.write(response.text)

保存した「ip.html」を開きます」と入力し、次のように内容を表示します;

以上がPython クローラーのプロキシ IP を設定する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。