Beispielerklärung zur Verwendung von http- und https-Proxy in Python

Dieser Artikel stellt hauptsächlich Beispiele für die Verwendung von http- und https-Proxy für Python vor. Jetzt kann ich ihn mit Ihnen teilen.

Die Verwendung von Python in China beim Crawlen Daten im Internet, einige Websites oder API-Schnittstellen sind geschwindigkeitsbeschränkt oder blockiert. In diesem Fall kann die Verwendung eines Proxys den Crawling-Prozess beschleunigen und Anforderungsfehler reduzieren. Die wichtigsten Möglichkeiten für Python-Programme, Proxys zu verwenden, sind wie folgt:

(1)Wenn Sie einige Netzwerkbibliotheken oder Crawler-Frameworks im Code zum Crawlen von Daten verwenden, unterstützen solche Frameworks im Allgemeinen Einstellungsagenten, zum Beispiel:

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({&#39;https&#39;: &#39;https://127.0.0.1:1080&#39;}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境，这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>

<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={&#39;https&#39;: &#39;https://127.0.0.1:1080&#39;}).content)</span>

(2)Wenn die verwendete Bibliothek dies nicht zur Verfügung stellt eine Schnittstelle zum Festlegen eines Proxys, aber die unterste Ebene verwendet Bibliotheken wie urllib und Anfragen. Sie können versuchen, die Umgebungsvariablen HTTP_PROXY und HTTPS_PROXY festzulegen, die diese Umgebungsvariablen automatisch erkennen und den von den Variablen festgelegten Proxy verwenden Anfragen initiieren. Die Einstellungen sind wie folgt:

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

(3)Wenn die beiden oben genannten Methoden nutzlos sind Sie können auch einige Tools verwenden, mit denen Netzwerkpakete überwacht, abgefangen und geändert werden können. Verwenden Sie Bibliotheken wie Fiddler und Mitmproxy, um http-Anforderungspakete abzufangen und die Adresse zu ändern, um den Effekt der Verwendung eines Proxys zu erzielen.

Verwandte Empfehlungen:

Python-Socket zum Senden der HTTP(s)-Anfragemethode verwenden

Das obige ist der detaillierte Inhalt vonBeispielerklärung zur Verwendung von http- und https-Proxy in Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!