如何加速Python后端的大文件上传响应_采用流式传输与分块读写技术

浅涛君_8861

浅涛君_8861

2026-05-27

328人浏览

原创

UploadFile不适合真正的大文件上传,因其底层依赖Starlette的form解析器,会先缓存整个multipart请求体(内存或磁盘),导致超200MB时易OOM、崩溃或解析失败;而request.stream()可直读原始字节流,跳过form解析,配合MultiPartParser边流边解析并设max_form_memory_size=0,才能安全处理500MB级以上文件。

如何加速python后端的大文件上传响应_采用流式传输与分块读写技术

直接读 request.body() 或用 UploadFile 接收大文件,上传 500MB 就可能卡死、OOM 或触发 413 Request Entity Too Large ——这不是代码写得不对,而是默认路径根本没走流式通道。

为什么 UploadFile 不适合真正的大文件上传

UploadFile 看似支持“异步读”,但它底层仍依赖 Starlette 的 form 解析器,会把整个 multipart 请求体先缓存(内存或磁盘临时文件),再交给你。一旦文件超 200MB,Uvicorn 可能因磁盘空间不足崩溃;若前端没设 boundary 或格式错位,解析直接失败,错误信息还藏在底层日志里。

  • 它不跳过 form 解析,无法跳过字段解析开销
  • 即使只传一个文件字段,也会把所有 headers + boundary + 元数据全吃进缓冲区
  • await file.read() 调用后,file.file 已是 SpooledTemporaryFile,再调用 .seek(0) 可能报 ValueError: I/O operation on closed file

绕过 form 解析:用 request.stream() 直读原始字节流

这才是可控的起点。你放弃 UploadFile,改用 Request 对象的 stream() 方法,拿到一个异步迭代器,逐块消费原始 HTTP body —— 完全跳过 multipart 解析,也就不怕字段混乱或大小限制。

  • 必须去掉所有 File、UploadFile 参数,函数签名只留 request: Request
  • 调用 request.stream(),不是 await request.body()(后者会一次性加载全部)
  • 需手动解析 multipart boundary:从 request.headers["content-type"] 提取 boundary=...,再用它切分流
  • 推荐用 werkzeug.formparser.MultiPartParser 边流边解析,设 max_form_memory_size=0 强制所有内容落盘

示例关键片段:

from werkzeug.formparser import MultiPartParser
from werkzeug.datastructures import Headers
<p>@app.post("/upload/raw/")
async def raw_upload(request: Request):
content_type = request.headers.get("content-type", "")
boundary = content_type.split("boundary=")[-1].strip()
headers = Headers([("Content-Type", f"multipart/form-data; boundary={boundary}")])</p><pre class="brush:php;toolbar:false;">parser = MultiPartParser(
    stream=request.stream(),
    headers=headers,
    max_form_memory_size=0,  # 关键:禁用内存缓冲
)

async for field_name, value, filename, content_type in parser.parse():
    if field_name == "file":
        # value 是 bytes,直接写入目标路径或对象存储
        async with aiofiles.open(f"/tmp/{filename}", "ab") as f:
            await f.write(value)

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载

上传响应提速的关键:别等全写完才返回

用户上传 2GB 文件时,你等到最后一字节落盘才返回 200 OK,体验就是“卡住”。真正的提速,是边收边确认、分段响应。

  • 每收到一个完整分块(比如 8MB),就向客户端返回一个轻量 206 Partial Content 响应,附带当前已接收字节数
  • 前端可据此更新进度条,甚至断点续传(配合 Range 和 Content-Range 头)
  • 服务端不要阻塞写磁盘:用 asyncio.to_thread(open(...).write) 包裹同步 IO,避免事件循环挂起
  • 避免在循环里反复 os.path.getsize() 查已写大小——改用累加变量

部署层限制比代码更早拦住你

client_max_body_size 不是 FastAPI 的配置项,Uvicorn 默认只允许 100MB;Nginx 默认 1MB;Cloudflare 更是硬性卡在 100MB。你代码再流式,请求根本到不了 Python 进程就被拦截了。

  • Uvicorn 启动加 --limit-concurrency 1000 --limit-max-requests 0,但核心是 --proxy-headers 配合 Nginx 的 client_max_body_size 2g;
  • 若用 Nginx,务必加 proxy_buffering off; 和 proxy_request_buffering off;,否则它自己就把流缓存了
  • 本地调试时,用 curl -F "file=@large.zip" http://localhost:8000/upload/raw/ 测试,别只信 Postman 的“form-data”界面,它有时悄悄转成 base64

最常被忽略的一点:boundary 必须由前端生成并透传,后端不能硬编码;而 MultiPartParser 对换行符敏感,Windows 换行(\r\n)和 Unix(\n)混用会导致解析中断——建议前端统一用 \r\n,后端不校验换行风格,只按标准 RFC 2046 切分。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2403

5

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6250

13

后端的主要工作内容介绍
后端的主要工作内容介绍

后端是应用程序的服务端部分,负责核心任务,如数据库交互、业务逻辑处理和响应客户端请求。想了解更多后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

5606

10

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1711

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4324

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1689

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

25237

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3067

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3107

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程