Nginx文件传输零拷贝Sendfile技术原理实践-Nginx-PHP中文网

Sendfile 是 Nginx 通过内核态直接搬运数据实现高效静态文件传输的机制，绕过用户态拷贝，需满足文件类型、文件系统、禁用压缩与修改等条件才能生效。

nginx文件传输零拷贝sendfile技术原理实践

Sendfile 是 Nginx 实现高效静态文件传输的核心机制，它通过内核态直接搬运数据，绕过用户态内存拷贝，显著降低 CPU 和内存开销。要真正用好它，不能只开个配置，得理解它生效的条件、限制和典型问题。

传统文件读写流程是：磁盘 → 内核缓冲区 → 用户态内存（read）→ 内核 socket 缓冲区（write）。这涉及 4 次上下文切换 + 2 次内存拷贝。Sendfile 把这个过程简化为：磁盘 → 内核缓冲区 → socket 缓冲区，全程在内核完成，零用户态拷贝、零显式内存分配。

注意：Sendfile 不等于“不拷贝”，而是“不经过用户空间的拷贝”。实际是否触发 DMA 直传或 page cache 复用，取决于文件大小、是否缓存、文件系统和内核版本。

Nginx 的 sendfile on 只是开关，以下任一不满足，Nginx 会自动回退到普通 read/write：

文件必须是常规文件（regular file）：不支持设备文件、管道、FIFO、socket、加密文件系统（如 ecryptfs）等；
源文件需支持 mmap 或 splice 接口：ext4/xfs/btrfs 通常支持；某些网络文件系统（如 NFSv3）或旧版内核可能不完全支持；
不能启用 proxy_buffering 或 gzip_static（对同一请求）：压缩、重写、切片等操作必须在用户态处理，强制退出零拷贝路径；
响应体不能被子请求（subrequest）或 Lua 脚本修改：例如 access_by_lua_block 中调用 ngx.header.* 或 ngx.exec 会破坏 sendfile 流程；
客户端连接需支持 TCP_NOPUSH/TCP_CORK（Linux）或 SO_NOSIGPIPE（FreeBSD）：Nginx 默认启用 tcp_nopush，配合 sendfile 才能合并 TCP 包，避免小包发送。

基础推荐配置（放在 http/server/location 块中）：

sendfile on;
tcp_nopush on;
tcp_nodelay on;
aio threads;
directio 4m;

⚠️ 常见错误：

开启 gzip on 后仍希望 sendfile 生效 → 不可能，gzip 必须读取内容再压缩，必须走用户态；
用 add_header Content-Encoding gzip 手动加头，但没真正压缩 → 浏览器解压失败，且 Nginx 无法识别该响应已压缩，可能误判路径；
location 中混用 alias 和 root 导致文件路径解析异常 → 文件找不到，自然无法 sendfile；
SELinux 或 AppArmor 限制了 Nginx 访问文件的标签权限 → 日志报 Permission denied，但错误码不提示 sendfile 失败原因。

不能只看配置，要用工具确认：

查看 Nginx error log：开启 error_log /path/to/log debug;，搜索 *sendfile 或 *zero copy 关键字；
用 strace 观察系统调用：strace -p $(pgrep nginx) -e trace=sendfile,sendfile64,splice,read,write，正常应看到 sendfile64 调用，而非 read+write；
监控指标对比：用 pidstat -d 1 查看 I/O wait 和 %iowait；开启 sendfile 后，CPU 的 system 时间下降、context switch 减少，而磁盘 rKB/s 不变；
curl + wireshark：大文件下载时观察 TCP 包大小和数量，开启 tcp_nopush + sendfile 后，单个 TCP 包更接近 MSS（如 1448 字节），且分包更少。