c++怎么在Linux下利用sendfile系统调用提升大文件传输吞吐量【底层】

老丽吖_9388

老丽吖_9388

2026-03-26

124人浏览

原创

sendfile 比 read+write 快,但仅限源为普通文件、目标为支持零拷贝的 socket 时成立;关键在于绕过页缓存到 socket 缓冲区的中间搬运,省去两次用户态拷贝。

c++怎么在linux下利用sendfile系统调用提升大文件传输吞吐量【底层】

sendfile 真的比 read + write 快吗?

快,但只在特定路径下成立:源 fd 是普通文件(open() 打开的),目标 fd 是 socket 且支持零拷贝(如 AF_INET TCP 套接字)。如果源是管道、socket 或 /dev/zero,sendfile() 会直接失败并返回 EINVAL;如果目标是普通文件,它不工作——Linux 内核明确禁止这种用法。

真正提速的关键不是“少一次用户态拷贝”,而是绕过内核页缓存到 socket 缓冲区的中间搬运。数据从磁盘页缓存直送协议栈发送队列,省掉一次 copy_to_user() + copy_from_user() 的 CPU 和 cache 带宽消耗。

实操建议:

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 务必检查 sendfile() 返回值:-1 表示失败,需查 errno(常见 EINVAL、EBADF)
  • 不要对 stdin、stdout 或其他非文件/非 socket fd 调用 sendfile()
  • 传输前用 lseek() 定位起始偏移,sendfile() 第三个参数传 NULL 表示从当前 offset 开始,传指针则按引用更新 offset

怎么写一个健壮的 sendfile 循环?

sendfile() 不保证一次性发完全部字节,尤其在网络拥塞或 socket 发送缓冲区满时,它可能只写入部分数据(返回值小于请求长度),甚至返回 0(对端关闭连接)或 -1(错误)。必须循环处理,不能当成 write() 那样一调了事。

实操建议:

  • 用 off_t *offset 参数控制进度,每次传入上次返回后更新的 offset 指针
  • 捕获 EAGAIN / EWOULDBLOCK:说明 socket 暂不可写,需等待 epoll 或 select() 通知可写后再试
  • 忽略 EINTR(被信号中断),直接重试
  • 示例片段:
    ssize_t sent = 0;
    while (sent 

为什么 sendfile 在某些 NFS 或加密文件系统上变慢甚至失败?

因为 sendfile() 依赖底层文件系统的 ->splice_read 接口。NFSv3 默认不实现该接口,NFSv4.2 才开始支持;Btrfs 加密子卷、F2FS 的某些配置、overlayfs 底层为加密 fs 时,也常缺失 splice 支持。此时内核会 fallback 到传统 read()/write() 路径,性能不升反降(多一次内核态判断开销),甚至直接返回 EINVAL。

实操建议:

  • 用 strace -e trace=sendfile 观察是否真走零拷贝路径(成功时无 read/write 系统调用跟随)
  • 检查文件系统类型和挂载选项:findmnt -t nfs,btrfs,f2fs,确认内核版本是否 ≥ 4.12(NFSv4.2 splice 支持较稳)
  • 生产环境若无法控制存储后端,应准备 fallback:先试 sendfile(),失败或返回 0 后自动切到 read()/write() 分块逻辑

sendfile 和 splice、copy_file_range 怎么选?

三者都是零拷贝传输原语,但适用场景不同:sendfile() 专用于「文件 → socket」;splice() 更通用(fd 之间任意拼接,但要求至少一端是 pipe);copy_file_range() 是「文件 → 文件」专用,且从 4.5+ 才稳定支持跨文件系统。

实操建议:

  • 纯 HTTP 文件服务?坚持用 sendfile(),最成熟、兼容性最好(2.6.33+ 全支持)
  • 需要把文件内容注入 pipe 再由另一个进程处理?用 splice(),但得自己创建 pipe
  • 做后台文件复制(比如备份)?优先试 copy_file_range(),fallback 到 sendfile() + socketpair()(hack 方式)或传统读写
  • 注意:splice() 对 socket 的支持有限制:仅 Linux 3.9+ 支持 socket 作为 target,且必须是 TCP;UDP 不行

真正卡住性能的往往不是 sendfile() 本身,而是 socket 缓冲区大小、TCP_NODELAY 设置、磁盘 I/O 调度策略,以及你有没有在循环里反复 stat() 文件大小——这些细节比选哪个系统调用更容易拖垮吞吐量。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1678

6

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

359

31

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3148

3

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

2025.10.17

4869

12

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.12.29

3789

9

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

2026.01.19

446

15

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

5747

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2468

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习