Linux socket 处理大规模并发连接的内存开销

胖磊小哥_9982

胖磊小哥_9982

2026-09-15

246人浏览

原创

linux socket大规模并发时内存开销主要来自内核:每条established连接约耗4.2 kb,10万连接达400 mb;time_wait单个约0.7–1.2 kb,3万个约25–35 mb,并加剧slab碎片和conntrack压力。

linux socket 处理大规模并发连接的内存开销

Linux socket 处理大规模并发连接时,内存开销主要来自内核为每个连接分配的结构体、缓冲区和状态跟踪资源,而非应用层代码直接申请的内存。真正吃内存的是内核——尤其是 ESTABLISHED 连接和大量 TIME_WAIT 状态连接。

每条 ESTABLISHED 连接约占用 3.5–6 KB 内核内存

这包括:

  • struct sock 对象:核心网络套接字结构,含 TCP 控制块(tcp_sock)、接收/发送队列指针等,典型大小约 1.8–2.5 KB(取决于内核版本和编译选项);
  • 接收缓冲区(sk_receive_queue):默认 net.ipv4.tcp_rmem(4K–128K–6M),但实际按需分配,空闲连接通常只占几页(8–16 KB);
  • 发送缓冲区(sk_write_queue):类似,空闲连接几乎不占额外页;
  • 关联的 sk_buff(skb)缓存、路由缓存、连接跟踪(nf_conntrack)条目(若启用防火墙/NAT)。

实测中,一个空载的 ESTABLISHED 连接在 5.10+ 内核上平均消耗约 4.2 KB 内核内存。10 万连接 ≈ 占用 400 MB 内核内存——这已接近普通 8 GB 服务器的内核内存压力阈值。

Linux Desktop Control
Linux Desktop Control

Linux 桌面自动化与控制。适用于以下场景:(1)截取屏幕或窗口的截图,(2)控制鼠标和键盘,(3)管理窗口,(4……

下载

TIME_WAIT 连接更“轻量”,但数量级大时仍不可忽视

TIME_WAIT 状态连接不维护完整 TCP 控制块,仅保留 minimal sock 结构 + 四元组哈希索引,单个约 0.7–1.2 KB。但问题在于:

  • 它受 net.ipv4.ip_local_port_range(默认 32768–65535,仅 32768 个可用端口)限制,高并发短连接服务极易打满;
  • 3 万个 TIME_WAIT 连接 ≈ 消耗 25–35 MB 内核内存——看似不多,但叠加 ESTABLISHED、socket 缓冲区、slab 分配碎片后,会显著抬升 Slab 内存占用(可通过 cat /proc/meminfo | grep Sla 查看);
  • 大量 TIME_WAIT 会挤占 net.netfilter.nf_conntrack_max(若开启 conntrack),导致新连接被丢弃。

内核内存管理机制直接影响实际开销

Linux 使用 SLUB 分配器管理 sock 对象等小对象,其行为关键点有:

  • 每个 CPU 有自己的 slab 缓存(per-CPU cache),减少锁竞争,但会略微增加内存碎片;
  • sock 对象从 tcp_sock_cache slab 中分配,复用率高可降低分配开销;
  • NUMA 架构下,若进程绑定在某 node,但 sock 对象分配到远端 node 的内存,会带来延迟与带宽损耗——建议用 numactl --cpunodebind=0 --membind=0 启动服务进程;
  • 内核不会立即释放刚关闭的 sock,而是进入 slab 的 partial list 或 full list,直到内存压力触发回收。

真正压垮内存的往往是“隐性开销”

除连接本身外,以下因素常被低估:

  • 文件描述符表:每个 socket 占一个 fd,fd 数量上限(fs.file-max)虽可调,但每进程 fd 表本身也占内存(约 8 字节/fd × 进程数 × 平均 fd 数);
  • epoll 实例:每个 epoll fd 维护红黑树 + 就绪链表,10 万监听 fd 的 epoll 实例自身约占 20–30 MB;
  • page cache 压力:若应用频繁 sendfile 或 mmap 文件,会与 socket 缓冲区争抢 page cache,触发全局内存回收,间接影响网络吞吐;
  • netfilter 规则复杂度:iptables/nftables 规则越多,每个包匹配耗时越长,CPU 时间变相转化为内存等待时间(如 recv() 阻塞延长)。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux linux教程 linux入门

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

397

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

820

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2352

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

796

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

689

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

354

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2096

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

3852

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

627

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

CLion 远程开发实战
CLion 远程开发实战

共0课时 | 0人学习