revel中大文件分片上传需启用控制器复用、路由标记raw跳过body解析、原子写入独立目录、redis存储状态并精确控制清理时机。

Revel中大文件上传为何不能直接用默认控制器
Revel默认每个请求创建新控制器实例,而大文件上传(尤其分片)会触发大量短生命周期请求,频繁 new controller + GC 会吃掉大量 CPU 和内存。实测每秒 100 次分片上传请求下,禁用复用时 GC 次数达 23 次/分钟,平均响应时间 45ms;启用复用后降到 5 次/分钟、12ms。这不是“能跑就行”的问题,是服务端扛不住并发的硬伤。
必须显式开启控制器对象池复用,并配合合理的池容量配置:
-
revel.controller.reuse = true(必须设为 true) -
revel.controller.stack = 50(建议从 50 起调,避免冷启动抖动) -
revel.controller.maxstack = 300(根据峰值分片请求数预估,单文件 100 片 × 并发 3 用户 ≈ 300)
分片上传接口要绕过默认请求体解析
Revel 默认会把整个 HTTP 请求体读进内存再解析,对 5MB 分片已是冗余拷贝;若误配成接收整文件,直接 OOM。关键不是“怎么写上传逻辑”,而是“怎么不让框架提前吃掉内存”。
正确做法是在路由中将分片上传路径标记为 raw,跳过自动 body 解析:
POST /api/upload/chunk Upload.Chunk
并在 app/controllers/upload.go 中手动读取:
func (c Upload) Chunk() revel.Result {
// 直接读原始 body,不走 c.Params.Body
data, err := io.ReadAll(c.Request.Body)
if err != nil {
return c.RenderError(err)
}
// 后续校验 chunkIndex、totalChunks、fileId 等元数据
// …
}
漏掉 raw 标记或依赖 c.Params.Files,等于主动放弃流式处理能力。
临时分片存储必须用原子写+独立目录
多个分片并发写同一文件易出错,Revel 默认无文件锁机制。常见错误现象:io: read/write on closed pipe 或合并后文件损坏。根本原因是没隔离写入上下文。
安全做法是为每个上传任务生成唯一 uploadId(如 UUID),所有分片存到 /tmp/uploads/{uploadId}/ 下,且每个分片以 {chunkIndex}.bin 命名:
- 写入前检查目录是否存在,不存在则
os.MkdirAll - 写入使用
os.O_CREATE | os.O_WRONLY | os.O_EXCL,确保不会覆盖已有分片 - 合并时按序读取
0.bin、1.bin…,用io.MultiReader流式拼接,不全载入内存
别图省事用 os.WriteFile 直接覆盖——并发下必然丢片。
断点续传状态不能只靠内存或文件系统
单纯查 /tmp/uploads/{id}/ 下文件数量判断进度,在容器重启、节点漂移或磁盘满时完全失效。Revel 本身不提供分布式状态存储,必须外接。
生产环境推荐 Redis 存储分片状态:
- key:
upload:status:{uploadId},value 是 JSON:{"total":120,"uploaded":[0,1,2,...]} - 每次成功写入分片后,用
redis.SADD记录已传索引 - 前端轮询
/api/upload/status?id={uploadId}时,直接redis.SMEMBERS返回已传列表
Redis 还能天然支持超时清理:EXPIRE upload:status:{id} 86400,避免僵尸任务堆积。本地文件系统做状态存储,只适合单机开发验证。
最易被忽略的是分片合并后的清理时机:必须在合并成功且主文件落盘后,才删临时目录和 Redis key。早删会导致秒传校验失败,晚删会撑爆磁盘。这个“成功边界”要精确卡在 os.Rename 主文件完成之后,而不是 HTTP 响应返回之前。











