如何利用Nginx原生hash算法实现基于分库分表键的定向代理

千磊君_6631

千磊君_6631

2026-05-30

968人浏览

原创

Nginx 不提供分库分表语义,但可通过 hash 指令基于请求变量(如 Header、URI)实现业务键定向代理;支持普通哈希(取模)和一致性哈希(1.19.0+原生),后者更适配动态扩缩容;需用 map 等安全提取 key,真实分库分表仍由后端中间件完成。

如何利用nginx原生hash算法实现基于分库分表键的定向代理

Nginx 本身不提供“分库分表键”的语义抽象,也没有内置的数据库路由逻辑,但它可以通过 hash 指令结合变量(如请求参数、Header 或 URI 片段)做一致性或普通哈希分发,从而实现**基于业务键的定向代理**——这是分库分表场景中“路由到指定后端实例”的轻量级前置方案。

理解 Nginx 的 hash 机制与适用边界

Nginx 的 upstream hash 支持两种模式:hash $key consistent;(一致性哈希)和 hash $key;(取模哈希)。两者都可将相同 key 映射到固定后端,但行为不同:

  • 普通 hash:Nginx 对 key 做哈希后对后端数量取模,简单高效;但增减 upstream server 会导致大量 key 重映射,适合后端稳定的场景
  • consistent hash:使用 ketama 算法,节点增减仅影响少量 key,更适配动态扩缩容,但需注意 Nginx 开源版从 1.19.0+ 才原生支持 consistent 参数(旧版本需第三方模块)
  • ⚠️ 关键限制:Nginx 不解析 SQL、不识别分库分表逻辑(如 user_id % 4 → db0、user_id / 4 % 8 → table_2),它只负责把某个字符串 key 映射到某台 proxy 后端。真正的分库分表仍由应用或中间件(如 ShardingSphere、MyCat)完成

提取分库分表键并构造 hash 变量

你需要让 Nginx 从请求中可靠地提取出业务主键(例如 user_id、order_no、tenant_id),常用方式有:

  • 从查询参数提取:set $shard_key $arg_user_id;(适用于 GET 接口带 id 查询)
  • 从请求体提取(需配合 lua 或 body_filter_by_lua*):Nginx 原生不解析 POST body,若必须用 body 中字段,建议改用 OpenResty + lua-resty-json 解析,或推动前端改用 Header/URL 透传
  • 从 Header 提取:set $shard_key $http_x_shard_key;(推荐方式,由上游服务统一注入,语义清晰、稳定可控)
  • 从 URI 路径提取:set $shard_key $uri; 或用正则捕获:if ($request_uri ~ ^/api/users/(\d+)/) { set $shard_key $1; }(注意 if 在 location 外不推荐,应改用 map)

配置 upstream hash 实现定向代理

以下是一个典型配置示例(假设按 user_id 分发到 4 台 DB Proxy):

Nginx Hosting
Nginx Hosting

通过服务器本地nginx实例实现零认证静态游戏托管。作为所有浏览器游戏的主要部署方式,无需登录、无需令牌、无需用户操作。

下载
http {
    # 预定义分片后端集群
    upstream db_proxy_cluster {
        hash $shard_key consistent;
        server 10.0.1.10:3306 weight=1;
        server 10.0.1.11:3306 weight=1;
        server 10.0.1.12:3306 weight=1;
        server 10.0.1.13:3306 weight=1;
    }
<pre class="brush:php;toolbar:false;"># 提取 key(这里用 Header 方式)
map $http_x_user_id $shard_key {
    "" "default";
    default "$http_x_user_id";
}

server {
    listen 80;
    location /mysql/ {
        proxy_set_header X-Real-IP $remote_addr;
        proxy_pass http://db_proxy_cluster;
    }
}

}

说明:

  • 使用 map 指令安全提取变量,避免空值导致 hash 异常
  • hash $shard_key consistent; 保证 user_id 相同的请求始终打到同一台 proxy,proxy 再根据自身规则(如 JDBC URL 中的 database name 或自定义分表逻辑)访问对应物理库表
  • 若不用一致性哈希,直接写 hash $shard_key; 即可(取模),性能略高,但扩容需谨慎

验证与注意事项

上线前建议验证 key 分布是否均匀、故障转移是否符合预期:

  • 用 log_format 记录 $shard_key 和 $upstream_addr,抽样检查映射稳定性
  • 模拟新增一台 upstream server,观察已有 key 是否发生大规模漂移(普通 hash 会,consistent hash 不会)
  • 确保所有客户端在请求中正确携带分片键(如 X-User-ID),缺失时 fallback 到默认 server 或返回 400
  • 不建议在 hash 中混用多个变量(如 hash "$arg_user_id.$arg_tenant_id"),除非业务明确需要联合分片;否则优先单维度强一致

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

nginx

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

437

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

900

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2832

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

956

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

849

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

434

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2576

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

4772

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

767

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

nginx手册
nginx手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习