Nginx 中怎么优化 sendfile 在跨存储挂载网络文件系统时的性能表现

大瑶同学_1709

大瑶同学_1709

2026-10-20

886人浏览

原创

nginx 在 nfs 等网络文件系统上必须禁用 sendfile,因其内核不支持远程句柄直传,会退化为 read/write 导致性能骤降;应配置 sendfile off、aio on、directio 及优化挂载参数,并优先采用本地化或对象存储替代方案。

nginx 中怎么优化 sendfile 在跨存储挂载网络文件系统时的性能表现

在跨存储挂载网络文件系统(如 NFS、CIFS、GlusterFS)时,Nginx 的 sendfile 不仅无法发挥零拷贝优势,反而会显著退化甚至失效——因为内核的 sendfile() 系统调用**不支持远程文件句柄直传**。NFSv3/v4 客户端在遇到 sendfile 请求时,多数会静默回退到用户态 read()+write() 路径,导致 CPU 升高、延迟飙升、QPS 断崖下降。

为什么 sendfile 在 NFS 上基本失效

根本原因在于:sendfile() 依赖底层文件系统提供有效的 file_operations.sendfile 接口,而主流 NFS 客户端(尤其是 Linux 内核 NFS client)未实现该接口的高效转发。实测表明:

  • NFSv3 挂载下,strace 观察到大量 read/write 调用,几乎无 sendfile 系统调用
  • NFSv4.1+ 支持 copy_file_range,但需服务端开启 pnfs 且客户端显式启用(Nginx 不调用该接口)
  • 即使挂载选项含 noac 或 actimeo=0,也无法恢复 sendfile 路径

必须关闭 sendfile 并切换为优化型用户态路径

面对 NFS 等网络存储,正确做法不是“调优 sendfile”,而是主动禁用它,并通过其他方式降低用户态拷贝开销:

Nginx Hosting
Nginx Hosting

通过服务器本地nginx实例实现零认证静态游戏托管。作为所有浏览器游戏的主要部署方式,无需登录、无需令牌、无需用户操作。

下载
  • 强制关闭:sendfile off;(放在 http 或 location 块中)
  • 启用异步 I/O 加速读取:aio on; + directio 4m;(绕过 page cache,避免 NFS 缓存一致性问题)
  • 增大缓冲区减少 write() 次数:output_buffers 2 128k;(合并小块写入,降低 syscall 频次)
  • 禁用干扰项:确保 gzip off;、sub_filter off;、etag off;,防止额外解析开销

挂载层协同优化(关键但常被忽略)

Nginx 层优化效果受限于 NFS 客户端行为,必须同步调整挂载参数:

  • 使用 NFSv4.2(推荐):支持 server-side copy 和更稳定的属性缓存,比 NFSv3 平均降低 30% 延迟
  • 挂载选项示例:nfsvers=4.2,hard,intr,rsize=1048576,wsize=1048576,acregmin=10,acregmax=30,namlen=255
  • 禁用 atime 更新:noatime,nodiratime(减少元数据写入,对 NFS 尤其有效)
  • 避免 soft 挂载:soft 模式在超时时会直接报错,hard + intr 才能保障请求可中断、不卡死 worker

替代方案:静态资源尽量本地化或用对象存储

若业务允许,应从根本上规避 NFS 传输瓶颈:

  • 边缘节点预热:将高频访问的静态资源(CSS/JS/图片)通过脚本或 CI/CD 同步至本地磁盘,Nginx root 指向本地路径,保留 sendfile on;
  • 对接对象存储:用 ngx_http_proxy_module + proxy_cache 代理 S3/MinIO,配合 proxy_buffering on; 和合理 proxy_cache_valid,让热点文件落盘缓存
  • CDN 回源分层:Nginx 作为 CDN 源站时,只承担回源压力,静态资源由 CDN 边缘节点直出,彻底绕过 NFS 传输

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

nginx

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

457

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

940

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

3032

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

996

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

889

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

454

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2756

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

5152

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

807

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

nginx手册
nginx手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习