suchen

Heim  >  Fragen und Antworten  >  Hauptteil

Webcrawler – Die Proxy-IP-Adresse des Python-Requests.get-Crawlers hat sich nicht geändert

Meine Arbeit erfordert das Crawlen von Informationen auf Amazon, aber der Anti-Crawler von Amazon ist zu leistungsfähig und dieselbe IP-Adresse wird blockiert.
Python-Version: 3.6, IDE: Pycharm 2017.1
Ich habe viele Informationen im Internet überprüft und das Handbuch der Anforderungsbibliothek gelesen, aber sie sind alle die gleiche Methode. Der Code lautet wie folgt:

import requests
'''代理IP地址(高匿)'''
proxy = {'HTTPS': '117.85.105.170:808'}
'''head 信息'''
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36', 
    'Connection': 'keep-alive'}
'''http://icanhazip.com会返回当前的IP地址'''
p = requests.get('http://icanhazip.com', headers=head, proxies=proxy)
print(p.text)

Nach der Theorie vieler Tutorials, die ich gelesen habe, sollte bei erfolgreicher Einrichtung des Proxys die zuletzt angezeigte IP-Adresse die IP-Adresse des Proxys sein, aber am Ende ist es immer noch meine echte IP-Adresse. Bedeutet das nicht? dass der Proxy nicht eingestellt ist?

typechotypecho2793 Tage vor1247

Antworte allen(1)Ich werde antworten

  • 阿神

    阿神2017-06-12 09:26:11

    proxies在你访问http时用http的设置,访问https时用https的设置
    所以你的proxy需要同时包含http及https的配置,这样才能生效

    proxy = {
        'http': 'http://117.85.105.170:808',
        'https': 'https://117.85.105.170:808'
    }

    Antwort
    0
  • StornierenAntwort