直接用filefield上传大文件会失败,因django默认内存读取整个请求体易爆内存或触发requestdatatoobig错误,且nginx等反向代理限制请求体大小,根本到不了视图层;filefield设计初衷仅为小文件表单提交,不支持分片上传。

为什么直接用 FileField 上传大文件会失败
因为 Django 默认通过内存读取整个请求体,遇到几百 MB 以上的文件,request.body 就会撑爆内存或触发 RequestDataTooBig 错误;同时 Nginx/Apache 等反向代理默认限制单次请求体大小(如 Nginx 的 client_max_body_size),根本到不了 Django 视图层。
所以不能依赖 FileField 直接接收完整文件——它设计初衷就是处理“小文件 + 表单提交”场景,不是为分片上传准备的。
- 别在视图里写
form = MyModelForm(request.POST, request.FILES)去接大文件 -
models.FileField本身不提供分片、校验、合并能力,它只是最终存档时的字段封装 - 真正要做的,是绕过
request.FILES,手动解析 multipart body 中的每个分片,并控制落盘路径和命名逻辑
前端分片后,后端如何接收并暂存分片
核心是:不走 Django 表单机制,用原生 request.body 或 request.META['wsgi.input'] 流式读取,按分片参数(如 chunkIndex、totalChunks、identifier)组织临时目录结构。
推荐使用 django.http.HttpResponse 接收裸 POST,配合 multipart/form-data 解析库(如 python-multipart),但更轻量的做法是直接按 boundary 手撕——不过实际项目中建议用 django.core.files.uploadhandler.TemporaryFileUploadHandler 的子类做定制化接管。
- 在
settings.py中设置:FILE_UPLOAD_HANDLERS = ['myapp.upload.MyChunkedUploadHandler'] -
MyChunkedUploadHandler需重写receive_data_chunk(self, raw_data, start),根据请求头里的X-Upload-Id和X-Chunk-Index写入对应临时路径,例如/tmp/uploads/{upload_id}/part_{index} - 避免把所有分片都放进内存:必须用
open(..., 'ab')追加写,而不是先读再拼
如何判断分片全部到达并触发合并与模型保存
合并动作不能靠“收到最后一个分片就立刻执行”,而应由独立接口(如 POST /api/merge/)显式触发,否则前端异常中断会导致状态不一致。
提供使用 django-unfold (v0.56+) 构建高级 Django 管理界面的专业指导。当用户提及 django-unfold、unfold admin 等内容时使用此技能。
该接口需校验:totalChunks 个文件是否存在、每个分片大小是否匹配预期、可选地验证 md5 或 sha256(前端应在上传前计算整个文件哈希并传上来)。
- 合并时用
cat /tmp/uploads/{id}/part_* > /tmp/uploads/{id}/final.bin(Linux)或 Python 的shutil.copyfileobj()流式拼接,避免内存加载全量内容 - 合并成功后,用
ContentFile包装最终二进制流,再赋值给模型的FileField:instance.file_field.save('name.ext', ContentFile(merged_bytes), save=False) - 务必手动调用
instance.save(),且注意FileField的upload_to路径不能含用户可控变量,防止路径遍历
断点续传的关键状态怎么持久化和校验
前端需要知道“哪些分片已存在服务器”,这要求后端暴露一个查询接口(如 GET /api/chunk-status/?upload_id=xxx),返回已上传的 chunk_index 列表。这个状态不能只存在内存或临时文件名里——万一服务重启,就丢了。
最简方案是建一张轻量表记录上传会话:
class UploadSession(models.Model):
upload_id = models.CharField(max_length=64, unique=True)
total_chunks = models.IntegerField()
uploaded_chunks = models.JSONField(default=list) # 存 [0, 1, 3, ...]
expires_at = models.DateTimeField()
created_at = models.DateTimeField(auto_now_add=True)
- 每次收到分片,更新
uploaded_chunks并去重(避免重复上传同一片) - 用
expires_at控制临时文件生命周期,搭配定时任务清理过期分片目录 - 不要依赖
os.listdir()扫描临时目录来判断完成状态——竞态条件高,且无法防伪造
真正的难点不在代码实现,而在分片幂等性、跨服务器部署时的共享存储(NFS/S3)、以及合并失败后的回滚机制——这些往往被 demo 忽略,但线上必须面对。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










