C#怎么处理大文件分片上传_C#断点续传与合并文件块【高级】

胖萱同学_8931

胖萱同学_8931

2026-05-03

740人浏览

原创

大文件分片上传需客户端显式传递文件guid、chunkindex、totalchunks和chunkhash,固定4mb块大小,用sha256校验,断点续传依赖服务端get接口返回已传块列表,合并时流式写入并逐块校验。

c#怎么处理大文件分片上传_c#断点续传与合并文件块【高级】

大文件分片上传必须自己管理块序号和校验

直接用 HttpClient 发起多个并发 POST 请求本身不难,难点在于服务端无法自动识别哪块是哪块、是否重复、是否丢失。C# 客户端必须显式传递唯一标识(如文件 guid)、当前块索引(chunkIndex)、总块数(totalChunks)和块哈希(chunkHash),否则后端无法安全合并。

常见错误是只传 chunkIndex 不传 guid,导致不同用户上传同名文件时块混在一起;或跳过哈希校验,结果网络传输中某块被静默损坏,合并后文件打开失败但无提示。

  • 用 Path.GetTempFileName() 为每个上传任务生成临时 guid,全程复用,不依赖文件名
  • 块大小建议固定为 4 * 1024 * 1024(4MB),太小增加 HTTP 开销,太大内存压力高且重传成本高
  • 计算块哈希用 SHA256.HashData(chunkBytes),别用 MD5 —— .NET 6+ 中 MD5 已标记为不安全

断点续传靠服务端返回已上传块列表,不是客户端“记住”

客户端本地记录已传块(比如写进 upload_state.json)极不可靠:程序崩溃、磁盘满、用户删了临时文件,状态就丢了。真正健壮的断点续传,是每次上传前先发一个 GET /api/upload/chunks?fileId=xxx,让服务端返回它数据库里已存的 chunkIndex 列表。

这个接口必须幂等、轻量、带缓存头。如果服务端没实现这个接口,所谓“断点续传”只是心理安慰。

  • 请求该接口时加 If-None-Match 头,服务端用 ETag 缓存响应(例如 ETag: "chunks-{fileId}-v1")
  • 客户端收到 304 Not Modified 就复用上次的块列表,避免重复拉取
  • 若返回 200,解析 JSON 数组如 [0,2,4,5],跳过这些索引,只上传缺失的块(如 1,3,6…)

合并文件块必须用 FileStream 流式写入,禁用 File.WriteAllBytes

把所有块读进内存再拼成一个 byte[] 合并,1GB 文件 ≈ 1GB 内存占用,极易触发 OutOfMemoryException。正确做法是打开目标文件的 FileStream,按块索引顺序逐个打开对应临时块文件,用 stream.Write(chunkBytes, 0, chunkBytes.Length) 追加写入。

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载

注意:块文件不能用 File.ReadAllText 或 File.ReadAllBytes 加载,必须用 FileStream + BufferedStream 控制内存占用。

  • 合并前先校验每块哈希,任一块不匹配就抛异常,不继续合并
  • 用 FileMode.Create 打开目标文件,确保旧文件被清空;用 FileAccess.Write 和 FileShare.None 防止并发写冲突
  • 块文件合并完立刻 File.Delete(chunkPath),别等“清理任务”——进程退出时未删干净会导致磁盘占满

.NET 6+ 推荐用 IAsyncEnumerable<byte></byte> 做流式分片读取

传统 FileStream.Read 配合 while 循环容易出边界错误(比如最后一块不足 4MB 时多读 0 字节)。.NET 6 引入的异步可枚举流更安全:

async IAsyncEnumerable<byte> ReadChunks(string filePath, int chunkSize = 4 * 1024 * 1024)
{
    await using var fs = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.Read, 4096, true);
    var buffer = new byte[chunkSize];
    int bytesRead;
    while ((bytesRead = await fs.ReadAsync(buffer, CancellationToken.None)) > 0)
    {
        yield return bytesRead == buffer.Length 
            ? buffer.Clone() as byte[] 
            : buffer.Take(bytesRead).ToArray();
    }
}</byte>

关键点:每次 yield return 都是新数组,避免后续修改影响前序块;buffer.Clone() 比 new byte[buffer.Length] 更快;FileOptions.Asynchronous 必须传 true,否则 ReadAsync 只是同步包装。

这个模式天然支持取消(传 CancellationToken)、进度回调(在 yield 前更新 UI)、以及与 IProgress<int></int> 集成——但别在 yield 里做耗时操作,会卡住整个枚举。

最易被忽略的是:服务端合并逻辑必须和客户端分片逻辑严格一致(比如都用 Math.Ceiling((double)fileLength / chunkSize) 算总块数),否则最后一块索引错位,整个文件就废了。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c#

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c#是什么意思
c#是什么意思

C#是一种通用的面向对象编程语言,它在.NET框架上运行,可用于开发各种类型的应用程序。本专题为大家提供c#相关的各种文章、以及下载和课程。

2023.08.08

1012

5

什么是c#
什么是c#

C#(读作C Sharp)是一种现代的、通用的、面向对象的编程语言。它由微软公司开发,于2000年首次发布,主要用于开发Windows桌面应用程序、Web应用程序、移动应用程序以及游戏开发等领域。C#是一种类型安全和托管的编程语言,它结合了C++的强大性能和C语言的简单易学特点,并引入了许多新的特性和概念,如委托、属性、泛型和异步编程等,以提高开发效率和代码可维护性。

2023.08.31

2871

3

C#中base关键字的用法
C#中base关键字的用法

在C#中,base关键字用于访问当前类的基类成员,这包括基类的字段、属性、方法、构造函数、索引器以及事件。想了解更多C#的相关内容,可以阅读本专题下面的文章。

2024.03.13

865

8

C#Task用法
C#Task用法

Task在C#中是用于表示异步操作的对象,它位于System.Threading.Tasks命名空间中。想了解更多C#中各种用法的相关内容,可以阅读本专题下面的文章。

2024.03.14

2615

11

C# 并发与异步编程
C# 并发与异步编程

本专题系统讲解 C# 异步编程与并发控制,重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目,帮助学习者掌握 如何在 C# 中编写高效的异步代码,提升应用的并发性能与响应速度。

2026.02.03

312

18

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

2026.02.06

389

20

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

2026.03.11

631

24

C# Unity游戏开发与ECS架构实践
C# Unity游戏开发与ECS架构实践

本专题聚焦 C# 在 Unity 游戏开发中的应用,系统讲解 ECS(Entity-Component-System)架构设计、游戏对象管理、性能优化与内存控制策略。通过实际游戏案例,帮助开发者构建高性能、结构清晰的游戏系统,提高游戏开发效率与运行性能。

2026.04.13

329

20

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

2025.12.24

1169

20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习