单节点websocket无法共享连接状态,因为连接绑定在独立进程的本地内存中,各节点的clientmanager.clients互不相通;必须通过redis等共享存储抽离元数据,实现跨节点的状态同步与消息路由。

为什么单节点 WebSocket 无法直接共享连接状态
WebSocket 连接是 TCP 层面的长连接,绑定在具体进程和内存中。两个 gowebsocket 节点各自运行在独立的 Go 进程里,ClientManager.Clients 是本地 map,彼此不互通。哪怕客户端连的是同一台 Nginx,请求被分发到不同后端节点,它们对“用户 A 是否在线”就天然存在认知分歧。
所以集群不是简单起多个进程就能“自动同步”的——必须把连接元数据(如 userID → nodeIP:port、userID → connID)抽离到共享存储层。
- Redis 是最常用选择:支持原子操作、过期键、Pub/Sub,
gowebsocket默认用它存UserOnline和ClientNodeMapping - 不能只依赖本地内存缓存做路由判断,否则消息发错节点会导致“用户收不到推送”
-
CheckOrigin或httpPort配置错误不会导致同步失败,但会阻断连接建立,先确保单节点能连通再查集群逻辑
如何让消息准确路由到持有连接的节点
核心在于两级映射:第一级是业务标识(如 userID)到节点地址,第二级是节点内从 userID 查到真实 *Client 实例。前者靠 Redis,后者靠本地 ClientManager.Users。
典型流程是:IM-server 收到发给用户 A 的消息 → 查 Redis 得到 A 当前挂在 node-2:8090 → 通过 gRPC 调用 node-2 的 PushMessage 接口 → node-2 从自己 ClientManager.Users["A"] 取出连接并写入。
- Redis 键名建议统一前缀,例如
user:online:A和user:node:A,避免 key 冲突 - gRPC 调用必须带超时(如
context.WithTimeout(ctx, 3*time.Second)),防止某节点宕机拖垮整个推送链路 - 如果 Redis 查询返回空,说明用户不在线或映射已过期,应直接丢弃或走离线存储,不要 fallback 到广播所有节点
心跳续期与失效连接清理的关键时机
连接断开不可怕,可怕的是“假在线”:客户端已掉线,但 Redis 里 user:node:A 还没过期,新消息仍被路由过去,最终写失败且无重试。
WebSocket 8.18.2 是该协议规范的一个重要迭代版本,主要优化了连接稳定性与数据传输效率。它通过全双工通信机制,允许客户端与服务器在单一长连接上实时交换数据,大幅降低传统 HTTP 轮询的开销。该版本增强了心跳保活、自动重连及二进制帧传输能力,适用于即时通讯、在线游戏及金融行情推送等低延迟场景,为开发者提供更可靠的实时网络交互基础。
gowebsocket 的解法是双保险:客户端定时发心跳(如每 30s),服务端收到后立即 SET key value EX 60 续期;同时开启 Redis 的 keyevent notification 监听 expired 事件,一旦 key 过期,触发 Unregister 流程清理本地 ClientManager 中对应条目。
- 心跳间隔必须小于 Redis key 的 TTL(例如 TTL=60s,心跳间隔设为 45s),留出网络抖动余量
- 监听
__keyevent@0__:expired需在 Redis 配置中显式开启:notify-keyspace-events Ex - 本地
ClientManager.Unregisterchannel 处理要非阻塞,避免因某个连接清理慢而卡住整个事件循环
gRPC 节点间通信的配置陷阱
集群里节点靠 gRPC 互相转发消息,但 rpcPort 和服务注册方式稍有偏差就会导致 “connection refused” 或 “no route to host”。
检查点很实际:确认每个节点的 app.rpcPort 在 config/app.yaml 中互不冲突(如 9001、9002…),且启动时该端口未被占用;Nginx 反向代理层**不参与** gRPC 流量,gRPC 是节点直连,所以防火墙必须放行 rpcPort 对应的内网端口;服务发现靠配置而非 DNS,IM-server 或调度器需硬编码或从配置中心读取各节点 rpcAddr 列表。
- 不要复用
webSocketPort做 gRPC 端口,协议不兼容,会握手失败 - gRPC 客户端初始化时建议设置
WithBlock()+ 超时,避免首次连接卡死进程 - 日志里出现
rpc error: code = Unavailable desc = connection closed,优先查目标节点是否存活、rpcPort是否监听、TLS 是否关闭(gowebsocket默认未启用 TLS)
真正难的不是写通一条消息路径,而是当 10 万个连接分布在 5 个节点上,每个连接每分钟心跳两次、每小时可能异常断开一次时,Redis 的 key 过期风暴、gRPC 连接池复用率、本地 map 的锁竞争,这些细节才决定系统能不能稳住。










