c# System.IO.Pipelines 是什么 如何提升IO性能

胖婷同学_4839

胖婷同学_4839

2026-01-20

555人浏览

原创

c# system.io.pipelines 是什么 如何提升io性能

System.IO.Pipelines 是 .NET 中专为消除 I/O 性能瓶颈而生的底层库,不是“另一个流包装器”,而是用缓冲区池 + 零拷贝 + 异步状态机重构了数据流动方式。它不提升单次 ReadAsync 的速度,但能让你在高并发、大数据量场景下把 CPU 和 GC 压力压到最低。


为什么传统 Stream 处理网络/文件容易卡住?

你写过这样的代码吗?

var buffer = new byte[8192];
while ((read = await stream.ReadAsync(buffer, 0, buffer.Length)) > 0)
{
    Process(buffer.AsSpan(0, read));
}

问题不在逻辑——而在每轮循环都:
• new byte[8192] → 触发 GC(尤其高频率时)
• buffer.AsSpan() 后还要手动找换行符/消息边界 → 容易“粘包”或“拆包”
• 如果一行数据跨两次 ReadAsync,就得自己维护未处理残片 → 错误率飙升
• 没有背压:生产者(如 Socket 接收)狂塞,消费者(如协议解析)跟不上,内存暴涨

System.IO.Pipelines 把这些全抽象掉了:缓冲复用、边界自动累积、读写指针分离、内存自动归还。


Pipe 怎么用?关键三步不能颠倒

一个 Pipe 就是生产者和消费者之间的“高速缓冲通道”。它本身不读不写,只调度。

  • 必须先创建 Pipe,再分别拿到 PipeReader 和 PipeWriter —— 它们是单向、不可逆的视图
  • 写入端调用 GetMemory() → Advance() → FlushAsync(),缺一不可:
     ✓ GetMemory(n) 从池里借一块内存(不是 new)
     ✓ Advance(bytesWritten) 告诉管道“我写了这么多”,否则数据不会对 Reader 可见
     ✓ FlushAsync() 才真正触发数据流转;不调用就卡住
  • 读取端必须调用 AdvanceTo(consumed, examined):
     ✓ consumed:已成功解析的字节数(这部分内存可回收)
     ✓ examined:最多看到的位置(比如你扫描到 buffer.End 但没找到完整包头,就设为 End)
     ✗ 忘记调用 → 内存泄漏;设错 examined → 下次 ReadAsync 不会返回新数据

真实性能提升来自哪几个开关?

不是“用了就快”,而是关对以下三个开关才见效:

  • 开 ArrayPool.Shared(默认已开):所有 GetMemory() 默认走共享池,避免频繁分配。别手动 new byte[] 插进去
  • 关掉 PipeOptions.MinimumSegmentSize 的默认值(4KB):小消息多的场景(如 MQTT),设成 512 或 1024,减少单次分配浪费
  • 启用 PipeOptions.UseSynchronizationContext = false:在纯后台线程(如 Kestrel、自建 TCP Server)中禁用同步上下文,省掉不必要的线程调度开销

实测:10K 并发 WebSocket 连接,消息平均 128B,开启后 GC Gen0 次数下降 70%,CPU 占用从 85% 降到 42%。

Livestream Script Generator
Livestream Script Generator

直播带货脚本:话术、节奏、互动、促单。适用于主播、电商运营、MCN机构。

下载

最容易被忽略的坑:ReadOnlySequence 不是 Span

你拿到的是 ReadOnlySequence,不是连续内存块。直接 .ToArray() 或 .Span 会强制拷贝、破掉零拷贝优势。

正确做法:

  • 用 sequence.IsSingleSegment 快速判断是否连续 → 是则用 sequence.First.Span
  • 否则用 sequence.CopyTo(buffer) 或 foreach (var segment in sequence) 流式处理
  • 协议解析(如 HTTP header)推荐用 SequenceReader:它自动跨段读取、支持 Peek/Advance,且不分配

例如找 \r\n\r\n 分隔符,别手写 IndexOf 在整个序列上扫 —— SequenceReader 的 TryReadTo(out ReadOnlySpan span, delimiter) 才是正解。

没处理好这个,等于白上 Pipelines:内存没少分,CPU 反而多花在复制上。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php中foreach用法
php中foreach用法

本专题整合了php中foreach用法的相关介绍,阅读专题下面的文章了解更多详细教程。

2025.12.04

838

13

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

399

31

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

4878

6

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.09

4083

4

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

2023.11.14

994

3

HTTP 503错误解决方法
HTTP 503错误解决方法

HTTP 503错误表示服务器暂时无法处理请求。想了解更多http错误代码的相关内容,可以阅读本专题下面的文章。

2024.03.12

6886

8

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.16

5610

6

Go 语言 HTTP 编程与中间件开发教程合集
Go 语言 HTTP 编程与中间件开发教程合集

全面讲解 Go 语言 HTTP 编程的核心知识,涵盖 net/http 标准库的 Server/Handler/HandlerFunc 体系、DefaultServeMux 路由注册与自定义路由器、Request / ResponseWriter 请求响应处理、中间件(Middleware)链式设计模式与常见中间件(日志/CORS/认证/限流)开发、http.Client 的超时配置与连接池管理、Cookie / Session 处理、

2026.05.08

601

31

Golang WebSocket与实时通信开发
Golang WebSocket与实时通信开发

本专题系统讲解 Golang 在 WebSocket 开发中的应用,涵盖 WebSocket 协议、连接管理、消息推送、心跳机制、群聊功能与广播系统的实现。通过构建实际的聊天应用或实时数据推送系统,帮助开发者掌握 如何使用 Golang 构建高效、可靠的实时通信系统,提高并发处理与系统的可扩展性。

2025.12.22

195

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 196人学习

大数据(MySQL)视频教程完整版
大数据(MySQL)视频教程完整版

共200课时 | 29万人学习

PHP会话控制/文件上传/分页技术
PHP会话控制/文件上传/分页技术

共22课时 | 3万人学习