Heim  >  Artikel  >  Backend-Entwicklung  >  Ausführliche Erklärung, wie Python-Crawler Proxys zum Crawlen von Webseiten verwenden

Ausführliche Erklärung, wie Python-Crawler Proxys zum Crawlen von Webseiten verwenden

高洛峰
高洛峰Original
2017-03-19 14:43:461992Durchsuche

Proxy-Typ (Proxy): Transparenter Proxy, anonymer Proxy, Verwirrungs-Proxy und Proxy mit hoher Anonymität. Hier finden Sie einige Informationen zu Python-Crawlern, die Proxys verwenden, und einer Proxy-Pool-Klasse um verschiedene Aspekte der Arbeit zu bewältigen.

Das urllib-Modul verwendet einen Proxy

Die Verwendung eines Proxys für urllib/urllib2 ist problematischer. Sie müssen zuerst eine ProxyHandler-Klasse erstellen und dann diese Klasse verwenden, um die zu öffnende Opener-Klasse zu erstellen Öffnen Sie die Webseite und verwenden Sie sie dann in der Anfrage. Installieren Sie den Öffner.

Das Proxy-Format ist „http://127.0.0.1:80“. Wenn Sie das Kontokennwort wünschen, lautet es „http:/“. /user:password@127.0.0.1:80" Wenn es mehrmals verwendet wird, können Sie es mit

session
proxy="http://127.0.0.1:80"
# 创建一个ProxyHandler对象
proxy_support=urllib.request.ProxyHandler({'http':proxy})
# 创建一个opener对象
opener = urllib.request.build_opener(proxy_support)
# 给request装载opener
urllib.request.install_opener(opener)
# 打开一个url
r = urllib.request.urlopen('http://youtube.com',timeout = 500)
erstellen.

Wenn Sie einen Proxy verwenden müssen, können Sie eine einzelne Anfrage konfigurieren, indem Sie den Proxys-Parameter für jede Anfragemethode angeben :

Sie können auch die Umgebungs-

Variablen

HTTP_PROXY und HTTPS_PROXY übergeben, um den Proxy zu konfigurieren.

import requests
proxies = {
  "http": "http://127.0.0.1:3128",
  "https": "http://127.0.0.1:2080",
}
r=requests.get("http://youtube.com", proxies=proxies)
print r.text

Wenn Ihr Proxy HTTP Basic Auth verwenden muss, können Sie http://user:password@host/ verwenden. Syntax:

Die Proxy-Nutzung von Python ist sehr einfach. Das Wichtigste ist, einen Agenten mit einem stabilen und zuverlässigen Netzwerk zu finden. Wenn Sie Fragen haben, hinterlassen Sie bitte eine Nachricht
export HTTP_PROXY="http://127.0.0.1:3128"
export HTTPS_PROXY="http://127.0.0.1:2080"
python
>>> import requests
>>> r=requests.get("http://youtube.com")
>>> print r.text

Das obige ist der detaillierte Inhalt vonAusführliche Erklärung, wie Python-Crawler Proxys zum Crawlen von Webseiten verwenden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn