c++怎么在Linux下利用sendfile系统调用提升大文件网络传输速率【底层】

落丽姑娘_5559

落丽姑娘_5559

2026-04-01

561人浏览

原创

sendfile 比 read+write 快,因其在内核态直接搬运数据,省去两次内存拷贝和上下文切换;实测大文件传输吞吐提升20%–40%,但要求 in_fd 为普通文件、out_fd 为 socket,且需注意参数设置与常见 einval 错误原因。

c++怎么在linux下利用sendfile系统调用提升大文件网络传输速率【底层】

sendfile 为什么比 read + write 快

因为 sendfile 在内核态直接完成文件到 socket 的数据搬运,全程不经过用户空间——省掉两次内存拷贝(read 到用户缓冲区、write 从用户缓冲区到 socket 缓冲区),也避免了上下文切换开销。对大文件尤其明显,比如传输 1GB 文件时,实测吞吐能提升 20%–40%,取决于磁盘 I/O 和网卡带宽是否均衡。

但注意:sendfile 要求输入 fd 是普通文件(支持 mmap),输出 fd 必须是 socket 或另一个支持 splice 的文件类型;不能用于任意 fd 组合,比如 pipe → socket 就不行(得用 splice)。

Linux 下 sendfile 的基本用法和参数陷阱

sendfile 系统调用原型是:ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count)。关键点不在函数本身,而在参数怎么设:

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • out_fd 必须是已连接的 socket(SOCK_STREAM),且不能是监听 socket(listen_fd)
  • in_fd 必须通过 open(..., O_RDONLY) 打开,不能是 stdin 或管道;O_DIRECT 会破坏 page cache,反而拖慢 sendfile,别加
  • offset 如果为 NULL,则从当前文件偏移开始读;但多数场景建议传入指针并初始化为 0,否则多次调用时位置错乱
  • count 不宜设太大(如 128MB),内核单次处理上限受 /proc/sys/fs/pipe-max-size 和 socket 缓冲区影响,通常设 64*1024 或 128*1024 更稳

遇到 “Invalid argument” 错误的常见原因

调用 sendfile 返回 -1 并设置 errno = EINVAL 是最常踩的坑,不是代码写错了,而是环境或 fd 状态不对:

  • 目标 socket 还没完成三次握手(比如 connect 没返回成功就调 sendfile)
  • in_fd 对应的文件被截断(truncate)或删除(unlink),但 fd 仍打开——此时 sendfile 会失败,而 read 可能只返回 0
  • 在 ext4 上用 sendfile 读加密文件(fscrypt)或某些 overlayfs 场景,内核可能不支持零拷贝路径
  • 容器环境(如 Docker)中,宿主机内核版本太低(CONFIG_SENDFILE(极少见,但定制内核可能)

如何确认 sendfile 真正生效了

光看代码调用不等于零拷贝发生。可用 strace -e trace=sendfile,read,write 观察系统调用次数;更准的是用 perf record -e 'syscalls:sys_enter_sendfile' -p $PID 看内核是否进入该路径。另外注意:

  • 如果 in_fd 是 tmpfs 或 ramfs 上的文件,sendfile 会退化为 read+write(因为没有磁盘 block mapping)
  • 启用 TCP Segmentation Offload(TSO)或 Generic Receive Offload(GRO)时,sendfile 吞吐表现更好,但需网卡驱动支持;可通过 ethtool -k eth0 查看
  • 不要在循环里无脑调 sendfile 直到返回 0:当 socket 发送缓冲区满时,它会阻塞或返回 EAGAIN(非阻塞模式下),必须配合 epoll 或检查返回值做重试

真正难的不是调用接口,而是确保整个数据通路——文件系统、VFS 层、TCP 栈、网卡驱动——都支持并启用了零拷贝链路。少一个环节,就退回传统路径。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1678

6

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.20

2988

5

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

6099

3

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.29

2985

6

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

2025.08.29

3828

10

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.29

2665

10

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

339

31

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3128

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习