如何在Python Django中处理大文件断点续传_通过FileField与前端分片上传配合

千辰吖_5761

千辰吖_5761

2026-05-21

176人浏览

原创

直接用filefield上传大文件会失败,因django默认内存读取整个请求体易爆内存或触发requestdatatoobig错误,且nginx等反向代理限制请求体大小,根本到不了视图层;filefield设计初衷仅为小文件表单提交,不支持分片上传。

如何在python django中处理大文件断点续传_通过filefield与前端分片上传配合

为什么直接用 FileField 上传大文件会失败

因为 Django 默认通过内存读取整个请求体,遇到几百 MB 以上的文件,request.body 就会撑爆内存或触发 RequestDataTooBig 错误;同时 Nginx/Apache 等反向代理默认限制单次请求体大小(如 Nginx 的 client_max_body_size),根本到不了 Django 视图层。

所以不能依赖 FileField 直接接收完整文件——它设计初衷就是处理“小文件 + 表单提交”场景,不是为分片上传准备的。

  • 别在视图里写 form = MyModelForm(request.POST, request.FILES) 去接大文件
  • models.FileField 本身不提供分片、校验、合并能力,它只是最终存档时的字段封装
  • 真正要做的,是绕过 request.FILES,手动解析 multipart body 中的每个分片,并控制落盘路径和命名逻辑

前端分片后,后端如何接收并暂存分片

核心是:不走 Django 表单机制,用原生 request.body 或 request.META['wsgi.input'] 流式读取,按分片参数(如 chunkIndex、totalChunks、identifier)组织临时目录结构。

推荐使用 django.http.HttpResponse 接收裸 POST,配合 multipart/form-data 解析库(如 python-multipart),但更轻量的做法是直接按 boundary 手撕——不过实际项目中建议用 django.core.files.uploadhandler.TemporaryFileUploadHandler 的子类做定制化接管。

  • 在 settings.py 中设置:FILE_UPLOAD_HANDLERS = ['myapp.upload.MyChunkedUploadHandler']
  • MyChunkedUploadHandler 需重写 receive_data_chunk(self, raw_data, start),根据请求头里的 X-Upload-Id 和 X-Chunk-Index 写入对应临时路径,例如 /tmp/uploads/{upload_id}/part_{index}
  • 避免把所有分片都放进内存:必须用 open(..., 'ab') 追加写,而不是先读再拼

如何判断分片全部到达并触发合并与模型保存

合并动作不能靠“收到最后一个分片就立刻执行”,而应由独立接口(如 POST /api/merge/)显式触发,否则前端异常中断会导致状态不一致。

Django Unfold
Django Unfold

提供使用 django-unfold (v0.56+) 构建高级 Django 管理界面的专业指导。当用户提及 django-unfold、unfold admin 等内容时使用此技能。

下载

该接口需校验:totalChunks 个文件是否存在、每个分片大小是否匹配预期、可选地验证 md5 或 sha256(前端应在上传前计算整个文件哈希并传上来)。

  • 合并时用 cat /tmp/uploads/{id}/part_* > /tmp/uploads/{id}/final.bin(Linux)或 Python 的 shutil.copyfileobj() 流式拼接,避免内存加载全量内容
  • 合并成功后,用 ContentFile 包装最终二进制流,再赋值给模型的 FileField:instance.file_field.save('name.ext', ContentFile(merged_bytes), save=False)
  • 务必手动调用 instance.save(),且注意 FileField 的 upload_to 路径不能含用户可控变量,防止路径遍历

断点续传的关键状态怎么持久化和校验

前端需要知道“哪些分片已存在服务器”,这要求后端暴露一个查询接口(如 GET /api/chunk-status/?upload_id=xxx),返回已上传的 chunk_index 列表。这个状态不能只存在内存或临时文件名里——万一服务重启,就丢了。

最简方案是建一张轻量表记录上传会话:

class UploadSession(models.Model):
    upload_id = models.CharField(max_length=64, unique=True)
    total_chunks = models.IntegerField()
    uploaded_chunks = models.JSONField(default=list)  # 存 [0, 1, 3, ...]
    expires_at = models.DateTimeField()
    created_at = models.DateTimeField(auto_now_add=True)
  • 每次收到分片,更新 uploaded_chunks 并去重(避免重复上传同一片)
  • 用 expires_at 控制临时文件生命周期,搭配定时任务清理过期分片目录
  • 不要依赖 os.listdir() 扫描临时目录来判断完成状态——竞态条件高,且无法防伪造

真正的难点不在代码实现,而在分片幂等性、跨服务器部署时的共享存储(NFS/S3)、以及合并失败后的回滚机制——这些往往被 demo 忽略,但线上必须面对。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python 前端 django

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2443

5

前端如何实现即时通讯
前端如何实现即时通讯

实现即时通讯的方法有WebSocket、Long Polling、Server-Sent Events、WebRTC等等。详细介绍:1、WebSocket,它可以在客户端和服务器之间建立持久连接,实现实时的双向通信,前端可以使用 WebSocket API来创建WebSocket连接,并通过发送和接收消息来实现即时通讯;2、Long Polling,是一种模拟实时通信的技术等等。

2023.10.09

5263

6

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6310

13

php和前端的关联介绍
php和前端的关联介绍

php既可以作为前端语言,也可以作为后端语言。想了解更多php和前端的相关内容,可以阅读本专题下面的文章。

2024.03.22

5878

10

前端外包工作内容有哪些
前端外包工作内容有哪些

前端外包工作内容包括:1. 网站和应用程序开发;2. 用户界面和交互设计;3. 用户体验优化;4. 设计和视觉开发;5. 跨浏览器兼容性;6. 性能优化;7. 维护和更新;8. 项目管理和沟通。想了解更多前端的相关内容,可以阅读本专题下面的文章。

2024.05.22

843

5

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1731

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4384

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1709

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

25637

23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程