Nginx 中怎么优化 sendfile 结合大页内存支持提升海量并发吞吐

阿芳大大_4005

阿芳大大_4005

2026-10-20

876人浏览

原创

sendfile 本身不直接依赖大页内存,但结合标准大页(explicit huge pages)、tcp_nopush、内核≥4.18及sg-dma网卡等协同配置,可减少tlb miss、稳定内核内存路径,显著提升海量并发下零拷贝吞吐性能。

nginx 中怎么优化 sendfile 结合大页内存支持提升海量并发吞吐

sendfile 本身不直接依赖大页内存(Huge Pages),但结合合理的大页配置,可间接强化其在海量并发下的吞吐表现——关键在于减少 TLB miss、稳定内核内存路径,并配合 sendfile 的零拷贝机制形成协同增益。实际优化需分层推进,不能仅靠开启一个参数。

确认 sendfile 已正确启用并处于零拷贝路径

这是前提,否则大页再好也无从发力:

  • 必须显式配置:sendfile on;(Nginx ≥ 1.3.0 默认支持,但需写明)
  • 禁用与 sendfile 冲突的模块:关闭 gzip on(改用 gzip_static on 预压缩)、避免 sub_filter 或动态 add_header 出现在静态资源 location 中
  • 验证是否真走零拷贝:用 strace -p $(pgrep nginx -f worker) -e trace=sendfile 观察调用频次;若同时高频出现 read+write,说明已退化

启用并绑定大页内存(Transparent Huge Pages 需谨慎)

Linux 内核通过大页降低页表遍历开销,对频繁访问内核缓冲区(如 sendfile 使用的 page cache 和 socket send queue)有帮助:

Nginx Hosting
Nginx Hosting

通过服务器本地nginx实例实现零认证静态游戏托管。作为所有浏览器游戏的主要部署方式,无需登录、无需令牌、无需用户操作。

下载
  • 推荐使用标准大页(Explicit Huge Pages):
      • 启动前分配:例如 echo 2048 > /proc/sys/vm/nr_hugepages(分配 2GB,按 1MB/页)
      • Nginx worker 进程需以 mlock() 锁定内存(需 cap_sys_admin 权限或 root),并在启动时加 -g "worker_rlimit_memlock 2097152;"(单位 KB)
  • 慎用 Transparent Huge Pages(THP):
      • THP 在 madvise 模式下对 Nginx 无效(sendfile 不触发 madvise);
      • always 模式可能引发内存碎片和延迟抖动,尤其在高并发短连接场景下,建议设为 madvised 或直接 never

协同调优:让大页真正服务于 sendfile 路径

大页只有落在关键数据路径上才有效,需确保内核缓存与网络栈受益:

  • 增大 TCP 发送队列上限:
      net.core.wmem_max = 4194304(4MB),防止 sendfile 推送大量数据时因 socket 缓冲区满而阻塞
  • 启用 tcp_nopush on:
      使 sendfile 输出的数据与响应头合并为整包发送,减少小包数量,降低 TLB 压力 —— 这是大页收益放大的关键一环
  • 调整文件缓存亲和性:
      open_file_cache max=20000 inactive=60s; + open_file_cache_valid 60s;,减少 stat/open 系统调用,避免用户态介入打断零拷贝

硬件与内核层面的必要支撑

sendfile + 大页的组合效果高度依赖底层能力:

  • 内核版本 ≥ 4.18:支持 aio threads 与 sendfile 异步协同,缓解大文件传输时的 worker 阻塞
  • 网卡支持 SG-DMA:执行 ethtool -k eth0 | grep scatter-gather,输出 scatter-gather: on 才能实现 sendfile 的“免 CPU 拷贝”终极形态
  • 关闭 NUMA 平衡干扰(多路服务器):
      numactl --cpunodebind=0 --membind=0 nginx 启动,避免 page cache 跨节点访问拖慢 DMA 效率

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

457

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

940

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

3032

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

996

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

909

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

454

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2756

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

5172

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

807

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

nginx手册
nginx手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习