WebSocket千万级推送系统如何实现 某大厂WebSocket技术架构演进【案例】

风静酱_9583

风静酱_9583

2026-05-29

623人浏览

原创

单台服务器无法支撑千万级websocket连接,因系统资源(如文件描述符、内存、tcp参数)远低于需求,必须分层解耦、状态外置(redis cluster)、广播异步化(kafka+扇出),接入层仅负责协议升级与tls终结,业务逻辑完全分离。

websocket千万级推送系统如何实现 某大厂websocket技术架构演进【案例】

单台服务器撑不住千万级 WebSocket 连接,必须分层解耦、状态外置、广播异步化——这是所有成功案例的共同起点。

为什么单机扛不住 100 万连接?

不是 CPU 先崩,是系统资源先告急:

  • ulimit -n 默认通常为 1024 或 65535,远低于百万连接所需;不调高会直接报 EMFILE 错误
  • 每个连接在 Go 中至少占用 2KB 栈 + 缓冲区(默认 4KB~64KB),100 万连接轻松吃掉 1–3GB 内存,且 GC 压力陡增
  • Linux 默认 net.core.somaxconn 和 net.ipv4.tcp_max_syn_backlog 过低,导致握手阶段丢包、SYN queue overflow
  • Node.js 的 ws 库单进程无法突破 10 万连接瓶颈,即使多进程也难统一广播;uWebSockets 可达百万,但需关闭 TLS 或用硬件卸载否则 CPU 瓶颈明显

连接层必须与逻辑层分离

大厂落地时最常踩的坑,就是把用户认证、消息路由、业务处理全塞进一个 WebSocket 进程里。结果是:扩连接就得扩业务,故障互相拖垮。

WebSocket 8.18.2
WebSocket 8.18.2

WebSocket 8.18.2 是该协议规范的一个重要迭代版本,主要优化了连接稳定性与数据传输效率。它通过全双工通信机制,允许客户端与服务器在单一长连接上实时交换数据,大幅降低传统 HTTP 轮询的开销。该版本增强了心跳保活、自动重连及二进制帧传输能力,适用于即时通讯、在线游戏及金融行情推送等低延迟场景,为开发者提供更可靠的实时网络交互基础。

下载
  • 接入层只做协议升级、TLS 终结、IP 限流、连接 ID 分配(如用 hash(ip:port) % N 分片),不做任何业务判断
  • 连接元数据(conn_id、user_id、room_id、last_ping)必须写入 Redis Cluster,而非本地 map —— 否则横向扩容后广播找不到人
  • 心跳由接入层统一收发(ping/pong 帧),业务层只监听 redis pub/sub 或 Kafka 主题,避免每个连接起 goroutine 定时器
  • 断连清理不能靠 onClose 回调:网络闪断时回调不触发,得靠 Redis key 过期 + 单独的 sweep worker 扫描

广播不能“遍历连接”,必须扇出(fan-out)

对 50 万在线用户群发一条弹幕,如果用 for 循环调 conn.WriteMessage(),延迟会从毫秒飙到秒级,且极易阻塞 event loop。

  • 正确路径:业务服务 → Kafka Topic(如 room:1001) → 多个接入节点消费 → 本地查 Redis 获取该房间当前连接列表 → 批量写入(非逐个)
  • 写入时用 conn.SetWriteDeadline() 防卡死,失败连接立即标记为 stale 并踢出 Redis
  • 高频小消息(如位置更新)启用 WebSocket 帧压缩(permessage-deflate),但注意 Nginx 默认不透传压缩头,需显式配置 proxy_set_header Upgrade $http_upgrade; 和 proxy_set_header Connection "upgrade";
  • 超大房间(如百万观众直播间)进一步分组:按连接 ID 哈希分 100 个子频道,每个子频道只推给 1 万连接,再由前端聚合渲染

真实压测中暴露最多的三个盲点

文档不提、教程不说,但上线后必现:

  • Nginx 作为反向代理时,默认 proxy_read_timeout 60s,WebSocket 空闲连接会被静默断开——必须设为 0 或足够大,并配 proxy_socket_keepalive on
  • 客户端浏览器有并发连接数限制(Chrome 对同一域名最多 6 个 TCP 连接),长连接多时需用多个子域名(ws0.example.com~ws9.example.com)做连接打散
  • 云厂商 SLB(如阿里云 ALB、AWS NLB)对 WebSocket 支持不一:ALB 支持完整生命周期,但 NLB 不感知 HTTP Upgrade,需改用 TCP 模式并自行处理健康检查

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

websocket

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
C语言变量命名
C语言变量命名

c语言变量名规则是:1、变量名以英文字母开头;2、变量名中的字母是区分大小写的;3、变量名不能是关键字;4、变量名中不能包含空格、标点符号和类型说明符。php中文网还提供c语言变量的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

3169

3

c语言入门自学零基础
c语言入门自学零基础

C语言是当代人学习及生活中的必备基础知识,应用十分广泛,本专题为大家c语言入门自学零基础的相关文章,以及相关课程,感兴趣的朋友千万不要错过了。

2023.07.25

2308

9

c语言运算符的优先级顺序
c语言运算符的优先级顺序

c语言运算符的优先级顺序是括号运算符 > 一元运算符 > 算术运算符 > 移位运算符 > 关系运算符 > 位运算符 > 逻辑运算符 > 赋值运算符 > 逗号运算符。本专题为大家提供c语言运算符相关的各种文章、以及下载和课程。

2023.08.02

1240

5

c语言数据结构
c语言数据结构

数据结构是指将数据按照一定的方式组织和存储的方法。它是计算机科学中的重要概念,用来描述和解决实际问题中的数据组织和处理问题。数据结构可以分为线性结构和非线性结构。线性结构包括数组、链表、堆栈和队列等,而非线性结构包括树和图等。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.09

1198

4

c语言random函数用法
c语言random函数用法

c语言random函数用法:1、random.random,随机生成(0,1)之间的浮点数;2、random.randint,随机生成在范围之内的整数,两个参数分别表示上限和下限;3、random.randrange,在指定范围内,按指定基数递增的集合中获得一个随机数;4、random.choice,从序列中随机抽选一个数;5、random.shuffle,随机排序。

2023.09.05

1356

5

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2158

7

c语言get函数的用法
c语言get函数的用法

get函数是一个用于从输入流中获取字符的函数。可以从键盘、文件或其他输入设备中读取字符,并将其存储在指定的变量中。本文介绍了get函数的用法以及一些相关的注意事项。希望这篇文章能够帮助你更好地理解和使用get函数 。

2023.09.20

3460

8

c数组初始化的方法
c数组初始化的方法

c语言数组初始化的方法有直接赋值法、不完全初始化法、省略数组长度法和二维数组初始化法。详细介绍:1、直接赋值法,这种方法可以直接将数组的值进行初始化;2、不完全初始化法,。这种方法可以在一定程度上节省内存空间;3、省略数组长度法,这种方法可以让编译器自动计算数组的长度;4、二维数组初始化法等等。

2023.09.22

15695

6

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebSocket手册
WebSocket手册

共0课时 | 0人学习

Webman中文手册
Webman中文手册

共0课时 | 0人学习