在JavaScript中,如何处理大文件的上传与分片传输?

夜晨君_5597

夜晨君_5597

2025-10-07

540人浏览

原创

核心思路是将大文件切片上传以提升稳定性和支持断点续传。1. 使用file.slice()将文件按5mb分块,携带filehash、索引等元信息;2. 通过formdata并发上传分片,控制最大并发数防止资源耗尽;3. 上传前查询服务端已传分片,跳过重复上传实现断点续传;4. 所有分片完成后通知服务端按序合并,并删除临时文件。需注意分片顺序、错误重试与去重,结合进度条优化体验。

在javascript中,如何处理大文件的上传与分片传输?

处理大文件上传和分片传输的核心思路是将大文件切分成多个小块,逐个上传,最后在服务端合并。这种方式可以避免内存溢出、提升上传稳定性,并支持断点续传。

1. 文件分片(Chunking)

利用 File.slice() 方法将大文件切分为固定大小的块(如 5MB),这样浏览器不会因为一次性读取大文件而卡顿。

示例代码:

function createChunks(file, chunkSize = 5 * 1024 * 1024) {
  const chunks = [];
  for (let start = 0; start 

每个分片可携带元信息,如:

  • 文件唯一标识(fileHash,可通过文件名+大小+修改时间生成)
  • 当前分片索引(index)
  • 总分片数(totalChunks)
  • 分片校验码(可选,如MD5)

2. 分片上传与并发控制

使用 FormDatafetch 发送每个分片,建议限制并发请求数量,防止资源耗尽。

async function uploadChunk(chunk, index, fileHash, filename) {
  const formData = new FormData();
  formData.append('chunk', chunk);
  formData.append('index', index);
  formData.append('fileHash', fileHash);
  formData.append('filename', filename);
<p>const res = await fetch('/upload/chunk', {
method: 'POST',
body: formData
});
return res.json();
}</p>

控制并发上传数量(例如最多同时上传4个分片):

async function uploadChunks(chunks, fileHash, filename) {
  const MAX_CONCURRENT = 4;
  const tasks = [];
  const results = [];
<p>for (let i = 0; i  results[i] = res)
.catch(err => { console.error(<code>分片${i}上传失败</code>, err); });</p><pre class="brush:php;toolbar:false;">tasks.push(task);

if (tasks.length >= MAX_CONCURRENT) {
  await Promise.race(tasks); // 等待至少一个完成
}

}

腾讯地图JSAPI GL开发技能
腾讯地图JSAPI GL开发技能

腾讯地图 JavaScript GL(JSAPIGL)开发指南。适用于地图应用或者工具的编写。在编写、审查或调试使用腾讯地图 API的代码时应运用此技能。适用于涉及地图初始化、覆盖物展示、图层控制、事件处理、控件交互、可视化渲染、地图工具、检索、路线规划、查地址、行政区划、ip定位、几何计算、三维模型展示、性能优化的任务。当用户提及 腾讯地图、 jsapi、jsapi-gl或相关地图开发需求时自动触发。⚠️ 强制行为:本 Skill 加载后,第一个动作必须是检查是否存在正式 Key(环境变量 TMAP_J

下载

await Promise.allSettled(tasks); return results; }

3. 断点续传与状态查询

上传前先向服务端请求已上传的分片列表,跳过已完成的部分。

流程如下:

  • 客户端计算文件哈希(可用 spark-md5FileReader 读取部分数据生成)
  • 发送文件信息到服务端:/upload/check?fileHash=xxx
  • 服务端返回已接收的分片索引数组
  • 前端只上传缺失的分片

示例请求:

const res = await fetch(`/upload/check?fileHash=${fileHash}`);
const { uploadedChunks } = await res.json();
// 过滤掉已上传的分片再执行上传

4. 服务端合并分片

所有分片上传完成后,客户端通知服务端合并:

await fetch('/upload/merge', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({ fileHash, filename, totalChunks })
});

服务端按顺序读取分片文件,写入最终文件,完成后删除临时分片。

基本上就这些。关键在于分片合理、状态可查、支持恢复。实现起来不复杂但容易忽略细节,比如分片顺序、错误重试、文件去重等。配合进度条显示(通过已上传分片数 / 总数)体验会更好。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

2025.09.03

1352

14

promise的用法
promise的用法

“promise” 是一种用于处理异步操作的编程概念,它可以用来表示一个异步操作的最终结果。Promise 对象有三种状态:pending(进行中)、fulfilled(已成功)和 rejected(已失败)。Promise的用法主要包括构造函数、实例方法(then、catch、finally)和状态转换。

2023.10.12

3840

6

html文本框类型介绍
html文本框类型介绍

html文本框类型有单行文本框、密码文本框、数字文本框、日期文本框、时间文本框、文件上传文本框、多行文本框等等。详细介绍:1、单行文本框是最常见的文本框类型,用于接受单行文本输入,用户可以在文本框中输入任意文本,例如用户名、密码、电子邮件地址等;2、密码文本框用于接受密码输入,用户在输入密码时,文本框中的内容会被隐藏,以保护用户的隐私;3、数字文本框等等。

2023.10.12

3043

6

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

3989

19

Aionclaw智能助手介绍
Aionclaw智能助手介绍

本专题汇总了AionClaw(AI龙虾助手)的功能介绍与在线使用入口。AionClaw是杭州趣猿人工智能有限公司推出的桌面级AI智能体,能直接在电脑上读写文件、运行脚本、操作浏览器,自动交付Word、PPT、Excel等成品。

2026.09.20

20

13

AionClaw AI智能体与电脑自动化任务执行功能使用教程
AionClaw AI智能体与电脑自动化任务执行功能使用教程

AionClaw专题整理AI智能体与电脑自动化相关功能使用教程,涵盖安装部署、AI任务执行、Skills技能、文件处理、浏览器控制、电脑操作、持久记忆、聊天工具连接以及办公、编程和内容创作等功能,帮助用户快速掌握AionClaw的实际使用方法。

2026.09.20

0

15

AI视频生成软件推荐
AI视频生成软件推荐

本专题汇总了当前主流的AI视频生成软件推荐与排行榜单,涵盖seko、AniShort、剧云、Lovart、LiblibAI及立刻mv等热门工具。同时整理了各软件在文生视频、图生视频、时长限制、画质表现及免费额度等方面的差异对比,助您快速选对适合创作需求的AI视频生成工具。

2026.09.16

180

9

ai生成视频的工具免费版合集
ai生成视频的工具免费版合集

本专题汇总了当前免费AI生成视频工具的排行榜与推荐清单,涵盖seko、讯飞智作、AniShort及剧云、Lovart等多模型集成平台。同时整理了各工具的免费额度、输出时长、水印政策及适用场景差异,助您快速选择合适工具开启AI视频创作。

2026.09.16

100

10

Pandas时间序列分析与可视化报表
Pandas时间序列分析与可视化报表

本专题整理Pandas日期转换、时间索引、重采样、滚动窗口、时区处理、plot绘图、Styler表格样式和报表输出方法。

2026.09.16

80

23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程