mongodb replica set shard 分片 高可用 集群

云晨姑娘_4054

云晨姑娘_4054

2016-06-07

1965人浏览

原创

mongodb采用的分片原理,其实很简单,说白了就是,一个蛋糕特别大,需要非常非常大的盒子才能装下,就算装下了存储也不方便,所以把大蛋糕切成小蛋糕进行存储.这种思想在其他应用或数据库中也有应用.例如: mysql的分区 , fastdfs的分组 一,mongodb分片,常用的二种

mongodb采用的分片原理,其实很简单,说白了就是,一个蛋糕特别大,需要非常非常大的盒子才能装下,就算装下了存储也不方便,所以把大蛋糕切成小蛋糕进行存储.这种思想在其他应用或数据库中也有应用.例如:mysql的分区,fastdfs的分组

一,mongodb分片,常用的二种架构

1,每一个客户端系统上包含一个路由器mongos,

每个客户端都有一个路由

每个客户端都有一个路由

服务器的数量从十几台增长到几百台,mongos路由和mongod分片服务器之间建立了几百、有时候甚至是几千个连接,负载非常重。这意味着每当chunk平衡(MongoDB分片集群为了保持数据均匀分布所必须使用的平衡措施)发生的时候传送存储在配置数据库中的chunk位置信息都需要花费相当长的时间。这是因为每一个mongos路由都必须清楚地知道每一个chunk都存在于集群中的哪些位置.

2,路由器独立

路由服务器单独出来

路由服务器单独出来

路由独立就很好的解决了上面提到的问题,路由越少,拓扑图越简单.

这里的路由器,包含了连接池的功能.上面二张图片,来源于网络

二,服务器说明

1,mongodb 分片存储

Server1 二片:Shard1/Shard2 ip:192.168.10.103
Server2 二片:Shard1/Shard2 ip:192.168.10.219

2,路由

Server3 ip:192.168.10.209

从路由器分配置上面就可以看出,才用的是独立路由的方案.

三,mongodb replica sets shard 安装配置

1,mongodb安装

下载地址: http://www.mongodb.org/downloads

解压后就能使用

2,分别在三台服务器上创建目录

# mkdir /usr/local/mongodb26/configsvr/ -p
# mkdir /usr/local/mongodb26/log/ -p
# mkdir /usr/local/mongodb26/shard1/ -p
# mkdir /usr/local/mongodb26/shard2/ -p
# mkdir /usr/local/mongodb26/key/ -p
# mkdir /usr/local/mongodb26/conf/ -p

为什么要创建目录,因为解压后的mongodb就一个目录bin目录,太少了.

3,192.168.10.103和192.168.10.219创建分片配置文件

# cat /usr/local/mongodb26/conf/shard1.conf
dbpath = /usr/local/mongodb26/shard1 //数据库路径
directoryperdb = true //设置每个数据库将被保存在一个单独的目录
shardsvr = true //启动分片
replSet = shard1 //设置富本集的名字为shard1,replSet是让服务器知道在这个"shard1"副本集中还有别的机器
port = 20001 //端口号
oplogSize = 100 //复制日志大小 MB
pidfilepath = /usr/local/mongodb26/shard1/mongodb.pid //pid文件路径
logpath = /usr/local/mongodb26/log/shard1.log //日志路径
logappend = true //以追加方式写入
profile = 1 //数据库分析,1表示仅记录较慢的操作
slowms = 5 //认定为慢查询的时间设置,根mysql慢查询有点像
fork = true //以守护进程的方式运行,创建服务器进程

shard2根shard1基本一样

# cat /usr/local/mongodb26/conf/shard2.conf
dbpath = /usr/local/mongodb26/shard2
directoryperdb = true
shardsvr = true
replSet = shard2
port = 20002
oplogSize = 100
pidfilepath = /usr/local/mongodb26/shard2/mongodb.pid
logpath = /usr/local/mongodb26/log/shard2.log
logappend = true
profile = 1
slowms = 5
fork = true

分片存储的二台机器,分别创建这二个文件.

4,192.168.10.209路由服务器

路由有二个配置文件

# cat /usr/local/mongodb26/conf/configsvr.conf  //路由配置,配置文件
pidfilepath = /usr/local/mongodb26/configsvr/mongodb.pid
dbpath = /usr/local/mongodb26/configsvr
directoryperdb = true
configsvr = true //声明这是一个集群的config服务,默认端口27019,默认目录/data/configdb
port = 20000
logpath =/usr/local/mongodb26/log/configsvr.log
logappend = true
fork = true
# cat /usr/local/mongodb26/conf/mongos.conf    //路由配置,配置文件
configdb = 192.168.10.209:20000     //监听的配置服务器,只能有1个或者3个
port = 30000
chunkSize = 1 //单位 mb 生成环境请使用 100 或删除,删除后默认是64
logpath =/usr/local/mongodb26/log/mongos.log
logappend = true
fork = true

四,启动mongodb进程

1,192.168.10.103和192.168.10.219分片存储节点的启动

/usr/local/mongodb26/bin/mongod -f /usr/local/mongodb26/conf/shard1.conf
/usr/local/mongodb26/bin/mongod -f /usr/local/mongodb26/conf/shard2.conf

2,在192.168.10.209路由节点上的启动

/usr/local/mongodb26/bin/mongod -f /usr/local/mongodb26/conf/configsvr.conf
/usr/local/mongodb26/bin/mongos -f /usr/local/mongodb26/conf/mongos.conf

在这里如果报以下错误:

mongodb-query
mongodb-query

用于调试和故障排查,查询MongoDB数据库。用户需要时可以: (1) 列出所有数据库; (2) 列出数据库中的集合; (3) 执行MongoDB查询或命令。

下载

# /usr/local/mongodb26/bin/mongos -f /usr/local/mongodb26/conf/mongos.conf
BadValue need either 1 or 3 configdbs
try '/usr/local/mongodb26/bin/mongos --help' for more information

原因以及解决办法:

mongos.conf文件中configdb参数有误,在这里路由个数,只能为1或3。configdb = 192.168.10.209:20000

五,查看是否启动成功

1,192.168.10.103和192.168.10.219分片存储节点的启动

[root@localhost conf]# netstat -tpnl |grep mongod
tcp 0 0 0.0.0.0:20001 0.0.0.0:* LISTEN 21556/mongod
tcp 0 0 0.0.0.0:20002 0.0.0.0:* LISTEN 21976/mongod

2,在192.168.10.209路由节点上的启动

[root@localhost mongodb26]# netstat -tpnl |grep mon
tcp 0 0 0.0.0.0:30000 0.0.0.0:* LISTEN 3521/mongos
tcp 0 0 0.0.0.0:20000 0.0.0.0:* LISTEN 3946/mongod

如果监听的端口都已启动,说明已添加成功.

六,配置mongodb replica set节点

1,port 20001端口进行配置

# /usr/local/mongodb26/bin/mongo --port 20001
> use admin
> config = {_id:"shard1", members: [
    {_id: 0, host:"192.168.10.103:20001"},
    {_id: 1, host:"192.168.10.219:20001"}
    ]
};
{
    "_id" : "shard1",
    "members" : [
        {
            "_id" : 0,
            "host" : "192.168.10.103:20001"
        },
        {
            "_id" : 1,
            "host" : "192.168.10.219:20001"
        }
    ]
}
> rs.initiate(config);
> exit;

2,port 20002端口进行配置

# /usr/local/mongodb26/bin/mongo --port 20002
> use admin
> config = {_id:"shard2", members: [
   {_id: 0, host:"192.168.10.103:20002"},
   {_id: 1, host:"192.168.10.219:20002"}
    ]
};
{
    "_id" : "shard2",
    "members" : [
        {
            "_id" : 0,
            "host" : "192.168.10.103:20002"
        },
        {
            "_id" : 1,
            "host" : "192.168.10.219:20002"
        }
    ]
}
> rs.initiate(config);
> exit;

在分片,192.168.10.103和192.168.10.219任何一台机器上都行,二个端口各配置一次

七,mongos路由节配置

# /usr/local/mongodb26/bin/mongo --port 30000
mongos> use admin
mongos> db.runCommand({addshard:"shard1/192.168.10.103:20001,192.168.10.219:20001",name:"shard1", maxsize:20480} )
mongos> db.runCommand({addshard:"shard2/192.168.10.103:20002,192.168.10.219:20002",name:"shard2", maxsize:20480} );
mongos> db.runCommand( {listshards : 1 } )
{
    "shards" : [
        {
            "_id" : "shard1",
            "host" : "shard1/192.168.10.103:20001,192.168.10.219:20001"
        },
        {
            "_id" : "shard2",
            "host" : "shard2/192.168.10.103:20002,192.168.10.219:20002"
        }
    ],
    "ok" : 1
}

到这儿,replica set + shard功能就配置好了,注意:虽然配置好了,但是还要声明库和表要进行分片。

八,声明库和表要分片

mongos> use admin  //切换到admin库
mongos> db.runCommand({enablesharding:"test2"});   //声明test2库允许分片
{ "ok" : 1 }
mongos> db.runCommand( { shardcollection : "test2.books", key : { id : 1 } } );  //声明books表要分片
{ "collectionsharded" : "test2.books", "ok" : 1 }
mongos> use test2     //切换到test2
mongos> db.stats();   //查看数据库状态
mongos> db.books.stats();  //查看表状态

如果报以下错误:

{ "ok" : 0, "errmsg" : "sharding not enabled for db" },原因是库还不允许分片

九,测试

1,测试脚本

mongos> for (var i = 1; i 
<p><strong> 2,测试结果</strong></p>
<pre class="brush:php;toolbar:false;">mongos> db.books.stats();
{
    "sharded" : true,
    "systemFlags" : 1,
    "userFlags" : 1,
    "ns" : "test2.books",
    "count" : 20000,
    "numExtents" : 10,
    "size" : 2240000,
    "storageSize" : 5586944,
    "totalIndexSize" : 1267280,
    "indexSizes" : {
        "_id_" : 678608,
        "id_1" : 588672
    },
    "avgObjSize" : 112,
    "nindexes" : 2,
    "nchunks" : 4,
    "shards" : {
        "shard1" : {
            "ns" : "test2.books",
            "count" : 5499,
            "size" : 615888,
            "avgObjSize" : 112,
            "storageSize" : 2793472,
            "numExtents" : 5,
            "nindexes" : 2,
            "lastExtentSize" : 2097152,
            "paddingFactor" : 1,
            "systemFlags" : 1,
            "userFlags" : 1,
            "totalIndexSize" : 367920,
            "indexSizes" : {
                "_id_" : 196224,
                "id_1" : 171696
            },
            "ok" : 1
        },
        "shard2" : {
            "ns" : "test2.books",
            "count" : 14501,
            "size" : 1624112,
            "avgObjSize" : 112,
            "storageSize" : 2793472,
            "numExtents" : 5,
            "nindexes" : 2,
            "lastExtentSize" : 2097152,
            "paddingFactor" : 1,
            "systemFlags" : 1,
            "userFlags" : 1,
            "totalIndexSize" : 899360,
            "indexSizes" : {
                "_id_" : 482384,
                "id_1" : 416976
            },
            "ok" : 1
        }
    },
    "ok" : 1
}

3,测试结果,数据分析

1),2W条数据,全部插入到shard2

2),shard2数据不变,shard1的数据开始增加

3),shard1数据不变,shard2的数据开始减少

一次插入2W条数据,5秒左右才能平衡,你可以db.book.stats(); 重复这个命令,你会发现数据流的变化。

mongodb采用的分片原理,其实很简单,说白了就是,一个蛋糕特别大,需要非常非常大的盒子才能装下,就算装下了存储也不方便,所以把大蛋糕切成小蛋糕进行存储.这种思想在其他应用或数据库中也有应用.例如:mysql的分区,fastdfs的分组 一,mongodb分片,常用的二种架构 1,每一个客户端系统上包含一个路由器mongos, 服务器的数量从十几台增长到几百台,mongos路由和mongod分片服务器之间建立了几百、有时候甚至是几千个连接,负载非常重。这意味着每当chunk平衡(MongoDB分片集群为了保持数据均匀分布所必须使用的平衡措施)发生的时候传送存储在配置数据库中的chunk位置信息都需要花费相当长的时间。这是因为每一个mongos路由都必须清楚地知道每一个chunk都存在于集群中的哪些位置. 2,路由器独立 路由独立就很好的解决了上面提到的问题,路由越少,拓扑图越简单. 这里的路由器,包含了连接池的功能.上面二张图片,来源于网络 二,服务器说明 1,mongodb 分片存储 Server1 二片:Shard1/Shard2 ip:192.168.10.103 Server2 二片:Shard1/Shard2 ip:192.168.10.219 2,路由 Server3 ip:192.168.10.209 从路由器分配置上面就可以看出,才用的是独立路由的方案. 三,mongodb replica sets shard 安装配置 1,mongodb安装 下载地址: http://www.mongodb.org/downloads 解压后就能使用 2,分别在三台服务器上创建目录 # mkdir /usr/local/mongodb26/configsvr/ -p # mkdir /usr/local/mongodb26/log/ -p # mkdir /usr/local/mongodb26/shard1/ -p # mkdir /usr/local/mongodb26/shard2/ -p # mkdir /usr/local/mongodb26/key/ -p # mkdir [...]

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mongodb

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

2026.11.20

20

7

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

2026.11.20

20

17

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

2026.11.20

0

10

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

2026.11.20

60

8

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

2026.11.20

0

10

PHP8.6安装配置与FPM运维教程
PHP8.6安装配置与FPM运维教程

本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。

2026.11.20

40

10

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

2026.11.20

40

8

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

80

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

100

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MongoDB 教程
MongoDB 教程

共17课时 | 6.6万人学习

黑马云课堂mongodb实操视频教程
黑马云课堂mongodb实操视频教程

共11课时 | 3.6万人学习

MongoDB 教程
MongoDB 教程

共42课时 | 62.2万人学习