分库分表路由的核心判断逻辑在请求进入时立即完成,基于分片键(如user_id)通过哈希/取模/范围等策略计算目标db和table,必须在SQL构建前确定,不可依赖SQL解析或ORM自动处理。

分库分表路由的核心判断逻辑在哪
Go 中没有内置分库分表能力,路由策略完全由业务代码控制——关键在于「请求进来时,立刻决定该查哪个 db、哪张 table」。这个决策不能拖到 SQL 构建之后,更不能靠中间件自动解析 SQL(成本高、不可靠)。真实项目里,绝大多数路由基于主键或业务字段哈希/取模,比如用 user_id 算出库序号和表后缀。
用 hash/fnv 做一致性哈希路由要注意什么
一致性哈希适合需要扩缩容时尽量减少数据迁移的场景,但 Go 标准库不带现成实现,hash/fnv 只提供基础哈希函数,得自己封装环结构。常见错误是直接对 user_id 做 fnv.New64a().Sum64() 后取模,这其实退化成了普通哈希,起不到一致性效果。
- 必须预构建虚拟节点环,例如每个物理节点映射 100 个
fnv.Sum64()值 - 路由时用相同哈希算法计算 key,再在环上二分查找最近顺时针节点
- 别忘了加锁保护环结构更新(扩容时写环,查询时读环)
- 如果用
github.com/hashicorp/consul/api这类第三方库,注意它默认不支持自定义哈希函数,需确认是否适配你的分片键类型
sqlx.DB 实例怎么按路由结果动态切换
不能共用一个 sqlx.DB,必须为每个物理库维护独立连接池。常见做法是用 map 存储:map[string]*sqlx.DB,key 是库名如 "user_db_0"。表名则在构建 SQL 时拼接,比如 "user_order_2024"。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等
- 初始化时批量调用
sqlx.Connect()创建所有库实例,并设置统一的SetMaxOpenConns和SetConnMaxLifetime - 路由函数返回的不是字符串而是结构体:
type RouteResult { DB *sqlx.DB, Table string },避免重复字符串查找 - 别在 handler 里每次路由都查 map——提前缓存到 context 或传参中
- 如果用了
pgxpool.Pool(PostgreSQL),注意它不兼容sqlx.DB接口,得用pgxpool.Pool.Acquire()手动取 conn
为什么 IN 查询和跨分片聚合最难搞
单条 SELECT * FROM user_order WHERE user_id IN (1001, 2005, 3017) 看似简单,但三个 ID 可能落在不同库不同表。Go 层没法像 Proxy(如 ShardingSphere)那样自动拆解并行查询再归并结果。
- 最稳妥的是业务层先路由每个 ID,得到 N 个
(DB, Table)组合,再并发执行 N 次查询,最后 in-memory 合并 - 如果 ID 数量大(比如几百个),要考虑连接数爆炸和内存占用,得加限流或改用宽表冗余
-
GROUP BY或ORDER BY ... LIMIT跨分片时,必须收拢全部结果再排序分页,无法下推——这意味着不能依赖数据库索引优化 - 事务基本只能限定在单库单表内;跨库更新要靠 TCC 或本地消息表,别指望
sql.Tx能跨*sqlx.DB
分库分表不是加个中间件就完事,路由策略一旦定死,后续改分片键或扩容方式的成本极高。上线前务必用真实数据量压测路由倾斜度——哪怕哈希看起来均匀,user_id 的实际分布可能集中在某几个段。










