构建十万级并发websocket与tcp混合网关，需统一事件驱动底座、分层资源隔离、协议无感路由及跨节点状态协同；须前置优化内核参数（如fs.file-max、net.core.somaxconn）、选用swoole/uws/libhv等共享eventloop的引擎，分片连接、redis会话元数据、消息pub/sub解耦、异步批量写入，并基于内容动态路由协议。

要构建支持十万级并发的 WebSocket 与 TCP 混合网关，不能只堆砌框架或调高单个参数。核心在于：**统一事件驱动底座 + 分层资源隔离 + 协议无感路由 + 跨节点状态协同**。系统瓶颈往往出现在连接建立、内存分配、消息广播和会话寻址四个环节，需从内核、运行时、协议栈、业务层逐级打通。

底层系统与资源准备必须前置到位

很多团队在应用层优化花大量时间，压测却卡在 2 万连接，根源是操作系统没“松绑”：

• 修改 /etc/sysctl.conf 并执行 sysctl -p： fs.file-max = 2097152（全局文件描述符上限） net.core.somaxconn = 65535（监听队列长度） net.ipv4.tcp_tw_reuse = 1（允许 TIME_WAIT 套接字重用于新连接）
• 在 /etc/security/limits.conf 中为运行用户设限： * soft nofile 1048576* hard nofile 1048576
• 确认 ulimit -n 输出 ≥ 1000000；若为 systemd 启动服务，还需在 service 文件中加 LimitNOFILE=1048576

选择真正支持双协议复用的事件引擎

WebSocket 和 TCP 是不同语义层的协议，但底层都依赖 socket I/O。关键不是“同时支持”，而是能否共享同一套事件循环与连接池：

WebSocket 8.18.2

WebSocket 8.18.2 是该协议规范的一个重要迭代版本，主要优化了连接稳定性与数据传输效率。它通过全双工通信机制，允许客户端与服务器在单一长连接上实时交换数据，大幅降低传统 HTTP 轮询的开销。该版本增强了心跳保活、自动重连及二进制帧传输能力，适用于即时通讯、在线游戏及金融行情推送等低延迟场景，为开发者提供更可靠的实时网络交互基础。

下载

• Swoole：PHP 生态首选，Swoole\Server 可原生监听 TCP 端口，Swoole\WebSocket\Server 复用相同 reactor 线程模型，连接数共用 worker_connections，无需桥接；协程自动管理长连接生命周期
• uWebSockets.js / Soketi：Node.js 生态中性能最优路径，uWS 底层直接操作 epoll/kqueue，无中间抽象层，TCP 透传与 WebSocket 升级可共存于同一 EventLoop
• libhv：C/C++ 级别轻量方案，hv_tcp_server_t 与 hv_websocket_server_t 共享 EventLoop 实例，支持在连接建立后动态识别协议类型并分发处理
• 避免使用 Express + Socket.IO + 自定义 TCP server 的混合部署——三套连接管理器并存，FD 和内存开销翻倍，且无法统一限流/熔断

连接与消息链路必须分层解耦

十万连接不等于十万条活跃消息流。真实场景中，95% 连接处于空闲或低频心跳状态。重点优化的是“活跃连接的消息通路”：

• 连接层：启用连接分片（Sharding），按客户端 ID 或 IP 哈希将连接均匀分布到多个网关实例；每实例控制在 2–3 万连接以内，降低单点故障影响面
• 会话层：禁止在内存中持久化全量 Session 对象。使用 Redis Hash 存储连接元数据（fd、uid、room_id、last_ping），本地仅缓存热 key（LRU 1000 条）
• 消息层：所有广播/点对点消息走发布订阅中间件（Redis Pub/Sub 或 Kafka）。网关实例只负责接收客户端帧、解析、封装后 publish；其他实例 subscribe 后按本地连接状态决定是否推送，彻底解除跨实例 session 查找依赖
• 写入层：禁用同步 write()。采用异步缓冲队列（如 ring buffer）聚合短周期内多条消息，批量 flush；对高频小包启用 Per-message deflate 压缩，带宽节省 40%+

网关协议路由需无感且可配置

混合网关的价值在于让业务侧不用区分 TCP 直连还是 WebSocket 浏览器接入。路由逻辑应基于内容而非传输层：

• 对 WebSocket 连接，在 onOpen 阶段解析 query 参数或首帧 payload，提取 protocol=tcp_proxy 或 service=chat 等标识，动态绑定对应 TCP 后端集群
• 对原始 TCP 连接，通过前 N 字节特征识别协议（如 Magic Number、JSON 开头、Protobuf tag），再路由至 HTTP API、MQTT Broker 或自定义二进制服务
• 所有路由规则集中配置在 etcd/Consul，支持热更新；避免硬编码 switch-case，便于灰度切流与协议演进
• Nginx 不作为 WebSocket 终结点，而仅作 TLS 卸载与 sticky-session 负载均衡（ip_hash 或 hash $connection_time consistent），真实协议处理下沉到后端网关