Java 怎么实现大文件的分片上传与断点续传

阿萱酱_4445

阿萱酱_4445

2026-09-20

731人浏览

原创

java实现大文件分片上传与断点续传的核心在于前端分片+后端校验合并+服务端记录上传状态;前端用file.slice()切片并携带fileid、chunkindex等元信息,后端通过redis记录分片状态、校验md5、支持断点查询与并发安全合并。

java 怎么实现大文件的分片上传与断点续传

Java 实现大文件分片上传与断点续传,核心在于**前端分片 + 后端校验合并 + 服务端记录上传状态**。关键不是单纯“传完再拼”,而是让每次请求可独立、可重试、可校验、可恢复。

一、前端按固定大小切片并携带元信息

浏览器使用 File.slice()(或 blob.slice())将文件切为固定大小块(如 2MB/片),每片上传时附带:

  • fileId:全局唯一标识(如 UUID 或文件 hash 前缀),用于关联同一文件的所有分片
  • chunkIndex:当前分片序号(从 0 或 1 开始,需前后端约定)
  • totalChunks:总分片数
  • fileNamefileSize(可选,用于服务端校验)
  • md5(或 sha256):单片 hash,用于后端校验完整性(强烈建议)

注意:避免用时间戳或随机数作为 fileId,否则断点续传时无法识别原文件。

二、后端接收分片并持久化上传进度

每个分片上传接口(如 POST /upload/chunk)需完成三件事:

  • 校验 fileId + chunkIndex 是否已存在(防止重复提交)
  • 比对客户端传来的分片 md5 与服务端计算的 md5,不一致则返回错误
  • 将分片二进制数据存为临时文件(如 /tmp/{fileId}_{chunkIndex}.part),同时在数据库或 Redis 中记录该分片状态:
    {"fileId": "abc123", "chunkIndex": 5, "status": "success", "uploadedAt": "2024-06-10T14:22:00Z"}

推荐用 Redis 存储进度(高性能、支持过期),结构可用 Hash:
HSET upload_progress:abc123 5 success,再用 HEXISTS 快速判断某片是否已传。

Alibabacloud Sdk Client Initialization For Java
Alibabacloud Sdk Client Initialization For Java

在 Java 中初始化和管理阿里云 SDK客户端。包括单例模式、线程安全、endpoint 与 region 配置、VPC 终端节点、同步与异步等。

下载

三、上传前先查已传分片,实现断点续传

用户再次上传同一文件(相同 fileId)时,前端应先发请求(如 GET /upload/progress?fileId=abc123)拉取已成功上传的分片索引列表。后端返回类似:

{"fileId": "abc123", "uploadedChunks": [0,1,2,5,6], "totalChunks": 10}

前端据此跳过已传分片,只上传缺失的 [3,4,7,8,9]。若文件名或大小变更,可通过完整文件 hash(如 MD5 of whole file)做二次确认,避免同 fileId 不同文件的误续传。

四、所有分片上传完成后触发合并与清理

前端检测到所有分片返回成功后,调用合并接口(如 POST /upload/merge),传入 fileId。后端执行:

  • 校验 Redis 中 uploadedChunks 数量是否等于 totalChunks
  • 按序读取所有 .part 文件,用 Files.copy() 或 NIO Channel 追加写入目标文件(避免全加载内存)
  • 合并后计算最终文件 hash,与前端预传的 totalMd5 比对(防合并出错)
  • 合并成功则删除所有 .part 临时文件,并清除 Redis 中的进度记录

合并过程建议异步处理(如交由线程池或消息队列),避免 HTTP 请求超时;同时加分布式锁(如 Redis Lock)防止同一 fileId 被多次合并。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

java

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

8637

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

5842

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

5272

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

964

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

808

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1136

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2289

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

19631

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1035

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习