Wie Python Requests zum Anfordern von Webseiten verwendet

Requests erbt alle Funktionen von urllib2.

Requests unterstützt HTTP-Verbindungspersistenz und Verbindungspooling, unterstützt die Verwendung von Cookies zur Aufrechterhaltung von Sitzungen, unterstützt das Hochladen von Dateien, unterstützt die automatische Bestimmung der Kodierung von Antwortinhalten und unterstützt internationalisierte URLs und die automatische Kodierung von POST-Daten.

Installationsmethode: Verwenden Sie pip zum Installieren 2.Header und Abfrageparameter hinzufügen

Wenn Sie Header hinzufügen möchten, können Sie den Header-Parameter übergeben, um Header-Informationen im Anforderungsheader hinzuzufügen.

Wenn Sie Parameter in der URL übergeben möchten, können Sie den Parameter params verwenden.

$ pip install requests

Laufergebnisse

...

...'http://www.baidu.com/s?wd=%E9%95%BF%E5%9F% 8E'

'utf -8'

200

Bei Verwendung von Response.text dekodiert Requests den Antwortinhalt automatisch basierend auf der Textkodierung der HTTP-Antwort, und die meisten Unicode-Zeichensätze können nahtlos dekodiert werden.

Bei Verwendung von „response.content“ wird der ursprüngliche binäre Bytestrom der Antwortdaten des Servers zurückgegeben, der zum Speichern von Binärdateien wie Bildern verwendet werden kann.

POST-Methode: 1. Einfache POST-Anfrage ) zur Lösung von

Session

Im Allgemeinen wird die Sitzung verwendet, um bestimmte Parameter über Anfragen hinweg beizubehalten, z. B. die Anmeldung vor dem Zugriff auf andere Seiten

response = requests.get("http://www.baidu.com/")
 
# 也可以这么写
# response = requests.request("get", "http://www.baidu.com/")

Hinweise zu Fallstricken

1 Bei der Verwendung von Anfragen zum Anfordern einer Schnittstelle wird eine Fehlermeldung angezeigt erscheint. Es wird ein Fehler gemeldet, es liegt jedoch kein Problem mit der Schnittstelle selbst vor.

Das liegt daran, dass es zwei Arten von Anforderungsparametern für die Schnittstelle gibt: einfache Typen (im Allgemeinen weniger als 3) und komplexe Objekttypen.

Lösung: Definieren Sie die Typen dieser beiden Parameter in Headern

Einfacher Typ: headers={"Content-Type": "application/x-www-form-urlencoded"}

Komplexer Objekttyp: headers= {"Content -Typ":application/json}

2. Einige HTTPS-Anfragen verfügen über eine SSL-Zertifikatsüberprüfung

Lösung: Antwort = Anfragen.get("https://www.baidu.com/", überprüfen =False)

Erweiterung

1. Nachdem die Anfrage fehlgeschlagen ist, fügen Sie einen Wiederholungsmechanismus hinzu

(wenn sie fehlschlägt, wird sie dreimal wiederholt)

import requests
 
kw = {'wd':'长城'}
 
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
 
# params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)
 
# 查看响应内容，response.text 返回的是Unicode格式的数据
print (response.text)
 
# 查看响应内容，response.content返回的字节流数据
print (respones.content)
 
# 查看完整url地址
print (response.url)
 
# 查看响应头部字符编码
print (response.encoding)
 
# 查看响应码
print (response.status_code)

3. Benutzerdefinierte Cookies

Wir verwenden Sitzungsinstanzen, um Cookies zwischen Anfragen aufzubewahren, aber in einigen Sonderfällen müssen wir benutzerdefinierte Cookies verwenden

Wir verwenden Sitzungsinstanzen, um Cookies zwischen Anfragen aufzubewahren, aber in einigen Sonderfällen müssen wir benutzerdefinierte Cookies verwenden

response = requests.post("http://www.baidu.com/",data = data)

4. Zählen Sie die für eine API-Anfrage aufgewendete Zeit

formdata = {
    "type": "AUTO",
    "doctype": "json",
    "key": "www",
    "ue": "UTF-8",
}
url = "http://auto-installment/v1/loan-credit-check"
response = requests.post(url,data = data,headers=headers)
 
print(response.text)#显示返回结果
print(response.json())# 如果是json文件可以直接显示

5. Legen Sie das Anforderungszeitlimit fest

# 1. 创建session对象，可以保存Cookie值
session = requests.session()
 
# 2. 需要登录的用户名和密码
data = {"username": "mxxxx", "password": "1233444"}
 
# 3. 发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里
session.post("https://www.jianshu.com/sign_in", data=data)
 
# 4. ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
response = session.get("https://www.jianshu.com/writer#/")

6. Datei-Upload

Requests verwendet Dateien als Parameter, um das Senden von Dateidaten zu simulieren

Das obige ist der detaillierte Inhalt vonWie Python Requests zum Anfordern von Webseiten verwendet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!