Linux Linux 下基于 socket 的高并发服务器架构

浅婷小哥_9390

浅婷小哥_9390

2026-08-30

627人浏览

原创

linux高并发服务器核心在于有限资源高效响应大量连接:需突破fd与队列瓶颈、用epoll+et+非阻塞i/o、线程池卸载cpu任务、连接与内存复用释放。

linux linux 下基于 socket 的高并发服务器架构

Linux 下基于 socket 的高并发服务器,核心不在“堆线程”或“开进程”,而在于**如何让有限资源高效响应大量连接请求**。关键不是单点吞吐多高,而是系统整体在连接建立、数据收发、连接维持、异常处理等环节不卡顿、不泄漏、不退化。

连接层:突破文件描述符与连接队列瓶颈

每个 socket 连接占用一个文件描述符(fd),系统默认限制常为 1024,这是第一道硬墙。

  • 修改用户级限制:在 /etc/security/limits.conf 中添加两行:
    * soft nofile 1048576
    * hard nofile 1048576
    再确保 /etc/pam.d/common-session(或 login)包含 session required pam_limits.so
  • 提升系统级上限:执行 echo 2097152 > /proc/sys/fs/file-max,并写入 /etc/sysctl.conf:
    fs.file-max = 2097152
  • 调大 TCP 半连接队列:SYN 收到但未完成三次握手的连接存于此,过小会导致丢包重传甚至被客户端认为超时。设置:
    net.ipv4.tcp_max_syn_backlog = 65536
    同时启用快速回收(仅适用于客户端 IP 稳定场景):
    net.ipv4.tcp_tw_reuse = 1

I/O 模型:用 epoll 替代阻塞/轮询

select/poll 在连接数上升后性能急剧下降;多线程+阻塞 recv/send 会因等待 I/O 而浪费大量线程资源。epoll 是 Linux 下高并发 I/O 的事实标准。

linux-sysadmin
linux-sysadmin

Linux系统管理专家,覆盖12大模块:用户权限、SSH、存储、网络、systemd、防火墙、日志监控、备份恢复、TLS证书、Ansible、容器、IaC。提供配置、验证、加固、监控、备份、自动化、故障排查、回滚闭环。关键词:useradd、sudo、sshd_config、chmod、SEL...

下载
  • 使用 epoll_create1(0) 创建实例,配合 EPOLLIN | EPOLLET 启用边缘触发(ET)模式,减少事件重复通知
  • 每个连接设为非阻塞(fcntl(fd, F_SETFL, O_NONBLOCK)),避免 recv() 或 send() 阻塞整个线程
  • 将 accept() 和后续读写全部纳入同一 epoll 实例统一调度,主线程(或单线程事件循环)即可承载数万连接

任务调度:线程池 + 无锁队列协同分工

纯单线程适合 I/O 密集但逻辑轻量的场景;一旦涉及数据库查询、JSON 解析、加解密等 CPU 操作,必须卸载到工作线程,否则事件循环卡死。

  • 主线程只做 socket 接收、读缓冲填充、写缓冲提交——纯 I/O 工作
  • 业务逻辑(如协议解析、权限校验、DB 交互)交由固定数量的工作线程异步处理
  • 任务通过环形缓冲区(如 ring buffer)或 lock-free queue 传递,避免频繁加锁影响吞吐
  • 连接生命周期管理(超时检测、心跳维护、断连清理)可由独立定时器线程或主线程结合红黑树/时间轮实现

连接与内存:复用与及时释放是稳定前提

高频新建/销毁 socket 和 buffer 是性能杀手,也是内存泄漏高发区。

  • 启用 SO_REUSEADDR 和 SO_REUSEPORT(Linux 3.9+),允许多进程/线程绑定同一端口,便于水平扩展
  • 为每个连接预分配固定大小接收/发送缓冲区(如 8KB),避免 malloc/free 频繁调用;连接关闭时归还至对象池而非直接 free
  • 对长连接,设置 SO_KEEPALIVE 并辅以应用层心跳,及时发现僵死连接;对短连接,确保 close() 后 fd 立即释放,防止 TIME_WAIT 占满端口
  • 避免在连接上下文中长期持有大对象或闭包,防止 GC 压力(若用带 GC 语言)或内存碎片(C/C++)

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

437

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

880

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2632

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

876

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

789

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

394

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2396

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

4392

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

707

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习