搜索

首页 >后端开发 >Python教程 >Python请求POST方法指南

Python请求POST方法指南

Barbara Streisand
Barbara Streisand原创
2024-11-24 04:33:11345浏览

Guide to Python requests POST method

Python 的 requests 库是一个强大的 http 客户端库工具，可以简化 API 通信，特别是对于发出 POST 请求。无论您是构建与远程 API 交互的应用程序还是 Web 抓取，掌握带有请求的 POST 方法都是高效 Web 开发的基础技能。

本指南提供了使用 Python 请求发出 POST 请求的全面演练，这是将数据发送到服务器的关键方法。我们将介绍示例、常见挑战和最佳实践。

对于该库的新手，您可以通过使用 pip install requests 来安装它并按照本指南进行操作。

什么是 HTTP POST 请求？

HTTP 是 Web 客户端（如浏览器或应用程序）和服务器之间通信的支柱。该协议使用请求来交换数据，并且可以有多种方法类型：

  • GET ：从服务器检索数据而不更改它。
  • POST ：将数据发送到服务器，非常适合：
    • 创建新记录（例如用户帐户）。
    • 提交表单或用户输入。
    • 传输文件或敏感数据。
  • PUT ：更新现有资源，例如修改用户配置文件。
  • DELETE ：从服务器中删除指定的资源。
  • PATCH ：部分更新现有资源。
  • HEAD ：仅请求响应的标头（元信息），而不请求正文。
  • OPTIONS ：检查服务器支持哪些 HTTP 方法。

在 Python 中使用 POST 请求对于将数据发送到服务器的交互至关重要，并且此方法可能有很多用例 - 接下来让我们看一下。

为什么使用POST方式提交数据？

了解何时使用 POST 而不是其他 HTTP 方法是 Web 开发的关键。与将数据作为有限 URL 参数的一部分发送的 GET 不同，POST 通过请求正文发送数据。这允许容纳更大的有效负载并隐藏数据以确保安全。这使得 POST 方法非常适合：

  • 创建新记录：添加新用户、发表评论或上传文档。
  • 提交表单数据：当用户通过联系表单、搜索表单或帐户设置提交信息时。
  • 传输敏感数据：与 GET 不同，POST 请求不会在 URL 中显示参数，为敏感信息提供额外的安全层。

清楚地了解了什么是 POST 请求后，现在让我们探索如何使用 requests 库在 Python 中发送它们，涵盖 JSON、表单数据和文件上传等基本格式。

使用Python请求发送POST请求

requests.post() 函数是在 Python 中发送 POST 请求的主要工具。它允许通过指定 URL、标头和数据本身来进行可定制和直接的数据发送。最常见的数据类型包括 JSON、表单数据或原始正文数据，所有这些都可以使用 python 请求 POST 方法轻松处理。例如：

发送 POST 请求的基本 python requests post 示例：

import requests

response = requests.post('https://httpbin.dev/post', data={'key': 'value'})
# or start a persisten session:
session = requests.Session()
response = session.post('https://httpbin.dev/post', data={'key': 'value'})

# Check response content
print(response.status_code)
print(response.text)

使用 requests.Session() 允许您在多个请求中保留某些参数（例如 cookie 或标头）。这在处理 POST 请求时至关重要，因为服务器经常跟踪当前客户端状态，并且可能返回不同的数据，甚至阻止缺少特定标头或 cookie 的 POST 请求。

不同的内容类型

HTTP Content-Type 标头在 POST 请求中至关重要，因为它指定发送数据的格式，这确保服务器可以正确解释请求。

一些服务器支持多种 POST 内容类型，而其他服务器则需要特定格式。以下是一些常见的 Content-Type 标头及其用途：

  • application/json 表示 API 通信中常用的 JSON 格式。
  • application/x-www-form-urlencoded 用于 HTML 表单提交，将数据编码为 URL 编码的键值对。
  • multipart/form-data 专为文件上传而设计，支持单个请求中的混合内容，例如二进制文件和文本。

要在 python 请求中设置 Content-Type 标头，请使用 headers 参数：

import requests
response = requests.post(
    'https://httpbin.dev/post', 
    headers={
        "Content-Type": "application/json",
    },
    data='{ "key": "value" }'
)

考虑到这一点，接下来让我们看一下 POST 请求中最常见的数据格式。

如何发布 JSON 数据

JSON（JavaScript 对象表示法）是 API 通信的常用格式，因为它易于构建和解析。它在 JavaScript 中原生可用，在 Python 中它可以使用 json 模块轻松转换为 Python 字典。

使用 requests 库发送带有 JSON 数据的 Python 请求 POST 非常简单。在requests.post()中使用json参数，它会自动处理编码并设置Content-Type header：

import requests

response = requests.post('https://httpbin.dev/post', data={'key': 'value'})
# or start a persisten session:
session = requests.Session()
response = session.post('https://httpbin.dev/post', data={'key': 'value'})

# Check response content
print(response.status_code)
print(response.text)

JSON 是迄今为止最流行的 POST 数据类型，经常在以下场景中遇到：

  • 用户身份验证：登录或注册时，JSON 用于发送凭据并接收身份验证令牌。
  • 数据检索和提交：用于获取或更新数据（例如天气、股票价格或用户个人资料）的 API，通常使用 JSON 进行响应，并且通常需要 JSON 来发送更新。
  • 配置设置：许多应用程序使用 JSON 发送或接收配置详细信息，允许根据用户偏好或系统要求进行灵活设置。
  • Web 应用程序中的表单提交：JSON 在提交表单或用户输入的应用程序中也很常见，例如调查或电子商务交易。

如何发布表单数据

当用户与网页上的输入字段交互时使用表单数据，例如：

  • 正在执行登录
  • 提交搜索
  • 提交用户生成的内容，例如评论或帖子

表单数据发送带有 Content-Type 标头 application/x-www-form-urlencoded 的数据，并以键值格式对数据进行 URL 编码。让我们看一个如何使用 Python 请求 POST 表单数据的示例，以更好地理解这种格式：

import requests
response = requests.post(
    'https://httpbin.dev/post', 
    headers={
        "Content-Type": "application/json",
    },
    data='{ "key": "value" }'
)

在上面的示例中，当我们使用 python 字典作为数据参数时，Content-Type 标头会自动设置。否则，如果我们传递字符串，我们需要手动设置 Content-Type 标头。

发送文件

要使用Python的requests库发送文件，可以使用files参数。此参数采用字节数据并自动将 Content-Type 标头设置为 multipart/form-data。这对于上传图像、文档或媒体内容非常有用。让我们看一下如何使用 Python 请求 POST 上传文件的一些示例：

import requests

data = {'username': 'ziad', 'password': '1234'}
response = requests.post('https://httpbin.dev/api', json=data)

在上面我们看到，我们可以为请求提供文件对象以将数据流式传输到服务器，也可以直接提供字节数据。

在 Python 中处理 POST 响应

发出 POST 请求后，最好验证响应中是否有错误或元注释。为此，请求的 Response 对象提供了 status_code、headers 和 json() 等属性，帮助评估成功或诊断问题。

首先，检查response.status_code以验证是否已成功发出POST请求并响应200 OK。否则，请参阅下面这张方便的表格。

常见的 POST 响应问题及其解决方法

Status Code Issue Description Solution
400 Bad Request Incorrect data or syntax error The server couldn't process the request due to data format issues. Check the data format and headers (e.g., Content-Type) for correctness.
401 Unauthorized Missing or invalid authentication The request lacks valid authentication credentials. Include valid API keys or tokens in headers.
403 Forbidden Access denied The server refuses to authorize the request. Verify permissions and check the API documentation for access requirements.
404 Not Found Incorrect URL The server cannot find the requested endpoint. Double-check the endpoint URL for typos and ensure it’s valid.
405 Method Not Allowed Unsupported HTTP method The endpoint does not support the HTTP method used. Confirm the correct HTTP method is used by consulting the API documentation.
500 Internal Server Error Server-side error A generic error indicating an internal server issue. Retry the request; contact API support if the issue persists.
503 Service Unavailable Temporary overload/maintenance The server is temporarily unavailable due to high traffic or maintenance. Wait and retry later; consider implementing retry logic for critical applications.

通过监控response.status_code并结合错误处理逻辑，您可以在发出POST请求时确保稳健、可靠的交互。

以下是如何处理响应状态代码的示例：

import requests

response = requests.post('https://httpbin.dev/post', data={'key': 'value'})
# or start a persisten session:
session = requests.Session()
response = session.post('https://httpbin.dev/post', data={'key': 'value'})

# Check response content
print(response.status_code)
print(response.text)

了解如何解释这些响应有助于有效处理错误，确保流畅的用户体验以及 API 交互中的故障排除。

发布压缩数据

要优化数据传输带宽，您可以 POST Gzip 或 Brotli 压缩数据。这是 gzip 压缩的示例：

import requests
response = requests.post(
    'https://httpbin.dev/post', 
    headers={
        "Content-Type": "application/json",
    },
    data='{ "key": "value" }'
)

对于 Brotli 压缩，可以使用 brotli 包：

import requests

data = {'username': 'ziad', 'password': '1234'}
response = requests.post('https://httpbin.dev/api', json=data)

使用压缩可以减少有效负载大小显着优化带宽并提高请求速度。这尤其适用于像 JSON 这样可以很好压缩的格式。

通过并发 POST 请求提高性能

POST 请求，尤其是涉及大型数据集或大量数据的请求，由于数据传输和服务器端处理所需的时间可能会很慢。并发可以通过允许多个请求同时运行来减轻这些延迟，从而加快批量数据上传或 API 交互等任务的速度。

不幸的是，Python 的 requests 库不支持 asyncio 的异步操作，限制了它有效处理许多并发 POST 请求的能力。

这就是 httpx 的用武之地，因为它提供了一个与 Python 的 asyncio 事件循环无缝集成的 AsyncClient。这意味着您可以同时发送大量请求而不会阻塞，使 httpx 成为需要真正异步支持的高性能应用程序的强大选择。

或者，您可以使用线程在 Python 请求中启用并行请求。这是一个使用带有请求的内置线程包的示例：

form_data = {'search': 'product 1 & 2', 'count': 10}
response = requests.post(
    'https://httpbin.dev/post', 
    data=form_data,
)
# this will automatically add the Content-Type header
# and convert data from dictionary to URL encoded format
print(response.request.body)
'search=product+1+%26+2&count=10'
print(response.request.headers['Content-Type'])
'application/x-www-form-urlencoded'

# alternatively if we POST data as string
# we need to manually identify Content-Type
response = requests.post(
    'https://httpbin.dev/post', 
    data='search=product+1+%26+2&count=10'
    headers={
        "Content-Type": "application/x-www-form-urlencoded"
    }
)
print(response.request.body)
'search=product+1+%26+2&count=10'
print(response.request.headers['Content-Type'])
'application/x-www-form-urlencoded'

通过使用线程，可以并行启动多个 POST 请求，从而允许每个线程处理单个请求。

您可以在我们的专题文章中了解有关并发与并行的更多信息：

并发与并行
(https://scrapfly.io/blog/concurrency-vs-parallelism/)

使用 Scrapfly 启动

HTTP 请求可能很困难，并且由于无头浏览器要求或客户端阻塞而很快变得复杂。为此，Scrapfly 可以帮助您！

Guide to Python requests POST method

ScrapFly 提供网页抓取、屏幕截图和提取 API，用于大规模数据收集。

  • 反机器人保护绕过 - 抓取网页而不阻塞！
  • 轮换住宅代理 - 防止 IP 地址和地理封锁。
  • JavaScript 渲染 - 通过云浏览器抓取动态网页。
  • 完全浏览器自动化 - 控制浏览器滚动、输入和单击对象。
  • 格式转换 - 抓取为 HTML、JSON、文本或 Markdown。
  • Python 和 Typescript SDK，以及 Scrapy 和无代码工具集成。

常问问题

为了总结本指南，以下是有关 python 请求 POST 的一些常见问题的解答。

如何在使用 Python 请求时包含自定义标头？

使用 headers 参数将标头作为字典传递。请注意，请求会自动生成一些标头，例如 User-Agent、Content-Length 和 Content-Type，因此在覆盖它们时要小心。

Python请求中的data和json参数有什么区别？

数据用于表单编码（默认）或原始数据（当覆盖 Content-Type 标头时）。而json是专门针对JSON格式数据的，会自动将Content-Type设置为application/json。

Python requests 库是否支持异步 POST 请求？

不幸的是，requests 库不支持异步请求。然而，httpx 库是一种提供异步功能的替代方案，使其适合需要并发的应用程序。

概括

在本文中，我们深入研究了 Python 中请求的 POST 方法并了解到：

  • 如何使用 POST 请求将数据发送到各种类型的服务器，例如 JSON、表单数据和文件上传。
  • 如何处理 POST 请求响应和常见状态代码以及如何修复它们。
  • 如何使用 httpx 或并行请求线程来提高并发 POST 请求的性能。
  • 如何使用 gzip 和 brotli 模块压缩数据以优化带宽和速度。

有关 Python 请求和 POST 请求的内容还有很多需要了解，但是通过本指南，您就可以开始构建与 API 和服务器有效交互的强大应用程序和 Web 抓取工具。

以上是Python请求POST方法指南的详细内容。更多信息请关注PHP中文网其他相关文章！

Python JavaScript typescript json html scrapy httpx pip String Object if for while format include require Session Error Logging double using internal Length Event Collection Generic Thread delete function default this display input table http https issue Access
声明：
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
上一篇：How Can I Create a Robust and Flexible Dictionary Subclass with Lowercase Keys Using Abstract Base Classes?下一篇：How Can I Create an Infinitely Nested defaultdict in Python?

相关文章

查看更多