tcp层流量整形是在字节流收发时按指定速率限制吞吐量,不依赖协议解析,通过rate.limiter包装net.conn的read/write实现双向限速,适用于redis、postgresql等非http协议转发。

什么是 TCP 层流量整形,不是 HTTP 限流
TCP 层流量整形指在字节流转发或收发过程中,**按指定速率限制读或写吞吐量**,比如限制客户端上传速度为 512 KB/s、限制代理向后端数据库转发的带宽不超过 1 Mbps。它不依赖协议解析(如 HTTP header),也不靠连接数或请求数控制,而是直接对 net.Conn.Read 和 net.Conn.Write 的字节流动施加节奏约束。
用 rate.Limiter 包装 net.Conn 实现双向限速
Go 标准库不提供原生限速连接,但可封装 net.Conn 接口,在 Read 和 Write 方法中插入 rate.Limiter.WaitN 调用。这是最轻量、可控性最强的方式。
在 Golang 中使用 samber/hot 进行内存缓存,支持 LRU、LFU、TinyLFU、W‑TinyLFU、S3FIFO、ARC、TwoQueue、SIEVE、FIFO 等淘汰算法,提供 TTL、缓存加载器及分片功能。
- 必须为读和写分别创建两个
rate.Limiter:读限速控制下载(服务端响应/客户端接收),写限速控制上传(客户端请求/服务端转发) - 每次
Write(p []byte)前,调用writeLimiter.WaitN(ctx, len(p));若len(p)过大(如 >64KB),应分块调用,避免单次等待过久 -
Read(p []byte)同理,但要注意:若限速太慢,SetReadDeadline可能先触发超时,需协调好 deadline 与 limiter 的等待时间 - 不要在
Read中直接对整块p调用WaitN——万一只读到 2 字节,却等了 1MB 的配额,就彻底卡死
在 TCP 代理中插入限速逻辑(非 HTTP)
如果你正在写一个纯 TCP 流量转发器(例如转发 Redis、PostgreSQL 或自定义二进制协议端口),不能复用 httputil,必须手动桥接两个 net.Conn 并限速。核心是两组并发 io.CopyBuffer + 限速器。
- 起两个 goroutine:
io.CopyBuffer(dst, src, buf)和io.CopyBuffer(src, dst, buf),否则单向阻塞会导致连接挂起 - 在自定义的
limitedWriter中包装 dst,每次Write前调用limiter.WaitN(ctx, n),n 为本次实际要写的字节数 - 缓冲区建议显式设为
make([]byte, 64*1024),避免默认 32KB 在高并发下分配过多小对象 - 任一
io.CopyBuffer返回 error 后,必须立即dst.Close()和src.Close(),否则连接泄漏
容易被忽略的边界:粘包与限速的冲突
限速本身不会导致粘包,但会放大粘包问题的影响。例如长度前缀协议中,你本该一次读 4 字节头 + N 字节体,但如果读限速太低,io.ReadFull(conn, header[:4]) 可能因等待令牌而超时,或拆成两次返回(第一次 2 字节,第二次 2 字节),导致解析失败。
- 务必在限速 wrapper 外层先做协议解析(如用
io.ReadFull读定长头),再对 payload 限速写入 - 不要对
bufio.Reader.ReadString等高层读取方法限速——它们内部多次调用Read,令牌消耗不可控 - 如果使用
bytes.Buffer做临时累积,限速应作用于最终conn.Write(buffer.Bytes()),而非每次buffer.Write
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!










