搜尋
首頁資料庫Redisredis分片集群搭建與使用詳解

推薦學習:Redis影片教學

#前言

redis可以說在實際專案開發中使用的非常頻繁,在redis常用集群中,我們聊到了redis常用的幾種集群方案,不同的集群對應著不同的場景,並且詳細說明了各種集群的優劣,本篇將以redis 分片集群為切入點,從redis 分片集群的搭建開始,詳細說說redis 分片集群相關的技術點;

  • 單點故障;
  • 單機寫入(高並發寫)瓶頸;
  • 單機儲存資料容量限制;
  • 叢集自動伸縮;
  • 叢集自動故障下線與轉移;

建置叢集架構圖

前置準備

1、準備一台(或6台伺服器,條件允許的情況下)虛擬機器或伺服器;

本例為示範效果準備了一台記憶體8G的伺服器,將透過連接埠進行master和slave的分割

2、提前下載好redis安裝套件;

搭建步驟

1、建立6個目錄文件,分別用於保存各個redis範例的資料

mkdir 7001 7002 7003 8001 8002 8003

2、在目前目錄下建立一個redis.conf文件,內容如下

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称,不需要我们创建,由redis自己维护
cluster-config-file /usr/local/soft/redis/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /usr/local/soft/redis/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 本机公网IP
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /usr/local/soft/redis/6379/run.log

3、批次將該設定檔拷貝到各個目錄下

echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

4、修改每個目錄下redis.conf,將其中的6379修改為與所在目錄一致

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

隨機打開某個redis.conf看看是否修改成功

4、使用下面的指令進行啟動

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7001/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7003/redis.conf

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8001/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8002/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8003/redis.conf

執行完成後,可以看到6個redis實例已經開啟

建立集群

經過以上的步驟,就開啟了6個redis的實例,但是這些實例之間並沒有形成一個集群,接下來就需要執行相關的命令將它們構成一個集群

1、使用以下命令構建集群(5.0之後的版本的命令)

redis-cli --cluster create --cluster-replicas 1 IP地址:7001 IP地址:7002 IP地址:7003 IP地址:8001 IP地址:8002 IP地址:8003

關於上面指令的說明

  • redis-cli --cluster 或./redis-trib.rb:代表群集操作指令;
  • create:代表是建立叢集;
  • –replicas 1或–cluster-replicas 1 :指定叢集中每個master的副本個數為1,此時節點總數÷ (replicas 1)得到的就是master的數量。因此節點列表中的前n個就是master,其它節點都是slave節點,隨機分配到不同master ;

也可以透過redis-cli --cluster help 指令進行群集指令的檢視;

執行指令後,控制台提示會使用哪個範例作為master,哪個作為slave;

#繼續輸入yes之後,將會依照上面的策略建立一個群集出來

透過這個輸出的日誌大概可以得到以下資訊:

  • 埠號依次為7001,7002和7003的為master節點;
  • 埠號依序為8001,8002和8003的為slave節點;
  • #埠號依序為7001,7002和7003的master節點,各自分配了一定區間的槽位數,分別是:[0-5460],[5461-10922],[10923-16383],即總共分配16384個槽位;

2、查看叢集狀態

redis-cli -p 7001 cluster nodes

#

通过这个命令,可以清楚的看到集群中各个实例节点的主从状态,实例ID(唯一身份标识),槽位区间等信息

Redis散列插槽说明

其实对redis分片集群稍有了解的同学应该知道,redis分片集群在逻辑上将集群中的所有节点构成了一块完整的内存空间,数据写入进来后,具体存放到哪个节点呢?所以集群引入了一个逻辑尚的插槽概念,即将集群划分为16384个槽位,集群中的每个节点占据一部分槽位数(这个日志中可以看出来);

那么当某个具体的key写入的时候,集群将会通过一定的算法,将要写入的数据路由到指定的插槽上去;

这里有个点需要注意,数据key不是与节点绑定,而是与插槽绑定。

redis集群会根据key的有效部分计算插槽值,分两种情况:

  • key中包含"{}",且“{}”中至少包含1个字符,“{}”中的部分是有效部分;
  • key中不包含“{}”,整个key都是有效部分;

举例来说:key是num,那么就根据num计算,如果是{应用名称}num,则根据“应用名称”计算。计算方式是利用CRC16算法得到一个hash值,然后对16384取余,得到的结果就是slot值

下面不妨看下效果

通过上面的演示可以发现,经过集群计算的key将会分配到不同的插槽上,也就是说,key是与插槽绑定,而不是与某个节点绑定,想想为什么会这样呢?

思考下面这个需求

如何将同一类数据固定的保存在同一个Redis实例?

简单来说,如果key的分配完全没有规则的话,当涉及到某个业务类的数据对应的key随机分配到不同的节点上面时,取值的时候就会出现像上面的重定向跨节点的问题,一定程度上提升性能;

解决办法

这一类数据使用相同的有效部分,例如key都以{业务ID}为前缀

集群伸缩(添加节点)

reids的cluster模式下,有一个比较强的功能就是集群的伸缩能力,即在现有的集群基础上,可以根据实际的业务需求,进行集群的伸缩,下面来演示下给上面的集群添加一个新节点的步骤;

1、在当前目录下拷贝一个目录

2、修改配置文件的端口

sed -i s/6379/7004/g 7004/redis.conf

3、启动这个实例

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7004/redis.conf

4、使用下面的命令将7004实例假如集群

redis-cli --cluster add-node IP:7004 IP:7001

5、再次查看集群状态

redis-cli -p 7001 cluster nodes

通过上面的状态信息发现,7004这个节点虽然加入了集群,并成了master,但是集群并没有给它分配任何的插槽

6、分配插槽

分配插槽的基本思路是,从现有的某个节点上迁移部分插槽到新的节点即可,执行下面的命令进行插槽分配

redis-cli --cluster reshard 101.34.23.80:7001

执行命令后将出现下面的提示,这里输入你要转移的插槽数量

将7004对应的实例ID输入即可

输入yes后开始移动插槽

移动完成后,再次查看集群状态,这时候7004对应的节点就分配到了从0 ~ 500的数量的插槽

故障转移

redis的cluster模式的集群,还具备一定的故障转移能力,比如在上面的架构模式下,当集群中的某个master节点宕机之后,会出现什么情况呢?下面我们来模拟下这个过程,看看效果如何

1、使用watch命令监控下集群的状态

通过这个命令可以实时查看集群的动态日志变化

watch redis-cli -p 7001 cluster nodes

2、手动将7002实例的master宕机

redis-cli -p 7002 shutdown

从上面的监控日志不难发现,当7002挂掉后,过了一会儿与集群以及它的从节点8003失去了联系,然后8003这个节点升级为master节点;

3、手动将7002实例启动起来

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf

再次分析日志,可以看到这时候7002只能以slave的身份加入了集群,事实上在某些情况下,我们仍然希望这个宕机的节点恢复后依然是主节点,这该怎么办呢?这就涉及到了手动故障转移,主要操作步骤如下:

  • 使用redis-cli连接7002节点;
  • 执行cluster failover命令;

在上面执行之后的情况下,7002是一个slave节点

执行 CLUSTER FAILOVER 命令,观察日志动态变化,通过日志变化,可以看到,命令执行完毕后,7002很快就变成了master,而8003成了slave;

通过以上步骤就完成了redis的cluster模式下的故障转移的过程

使用redistemplate访问分片集群

1、引入依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

2、将配置文件中的集群地址修改成下面这样即可

spring:
  redis:
    cluster:
      nodes:
       - 集群IP:7001
       - 集群IP:7002
       - 集群IP:7003
       - 集群IP:7004
       - 集群IP:8001
       - 集群IP:8002
       - 集群IP:8003

至于具体的代码部分,可以参考下面的这个测试案例

	@Autowired
    private RedisTemplate<String,String> redisTemplate;

    //localhost:8083/set?key=b&value=123
    @GetMapping("/set")
    public void set(@RequestParam String key,@RequestParam String value){
        redisTemplate.opsForValue().set(key,value);
    }

    //localhost:8083/get?key=b
    @GetMapping("/get")
    public String get(@RequestParam String key){
        return redisTemplate.opsForValue().get(key);
    }

推荐学习:Redis视频教程

以上是redis分片集群搭建與使用詳解的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:脚本之家。如有侵權,請聯絡admin@php.cn刪除
REDIS:探索其數據模型和結構REDIS:探索其數據模型和結構Apr 16, 2025 am 12:09 AM

Redis的數據模型和結構包括五種主要類型:1.字符串(String):用於存儲文本或二進制數據,支持原子操作。 2.列表(List):有序元素集合,適合隊列和堆棧。 3.集合(Set):無序唯一元素集合,支持集合運算。 4.有序集合(SortedSet):帶分數的唯一元素集合,適用於排行榜。 5.哈希表(Hash):鍵值對集合,適合存儲對象。

REDIS:對其數據庫方法進行分類REDIS:對其數據庫方法進行分類Apr 15, 2025 am 12:06 AM

Redis的數據庫方法包括內存數據庫和鍵值存儲。 1)Redis將數據存儲在內存中,讀寫速度快。 2)它使用鍵值對存儲數據,支持複雜數據結構,如列表、集合、哈希表和有序集合,適用於緩存和NoSQL數據庫。

為什麼要使用redis?利益和優勢為什麼要使用redis?利益和優勢Apr 14, 2025 am 12:07 AM

Redis是一個強大的數據庫解決方案,因為它提供了極速性能、豐富的數據結構、高可用性和擴展性、持久化能力以及廣泛的生態系統支持。 1)極速性能:Redis的數據存儲在內存中,讀寫速度極快,適合高並發和低延遲應用。 2)豐富的數據結構:支持多種數據類型,如列表、集合等,適用於多種場景。 3)高可用性和擴展性:支持主從復制和集群模式,實現高可用性和水平擴展。 4)持久化和數據安全:通過RDB和AOF兩種方式實現數據持久化,確保數據的完整性和可靠性。 5)廣泛的生態系統和社區支持:擁有龐大的生態系統和活躍社區,

了解NOSQL:Redis的關鍵特徵了解NOSQL:Redis的關鍵特徵Apr 13, 2025 am 12:17 AM

Redis的關鍵特性包括速度、靈活性和豐富的數據結構支持。 1)速度:Redis作為內存數據庫,讀寫操作幾乎瞬時,適用於緩存和會話管理。 2)靈活性:支持多種數據結構,如字符串、列表、集合等,適用於復雜數據處理。 3)數據結構支持:提供字符串、列表、集合、哈希表等,適合不同業務需求。

REDIS:確定其主要功能REDIS:確定其主要功能Apr 12, 2025 am 12:01 AM

Redis的核心功能是高性能的內存數據存儲和處理系統。 1)高速數據訪問:Redis將數據存儲在內存中,提供微秒級別的讀寫速度。 2)豐富的數據結構:支持字符串、列表、集合等,適應多種應用場景。 3)持久化:通過RDB和AOF方式將數據持久化到磁盤。 4)發布訂閱:可用於消息隊列或實時通信系統。

REDIS:流行數據結構指南REDIS:流行數據結構指南Apr 11, 2025 am 12:04 AM

Redis支持多種數據結構,具體包括:1.字符串(String),適合存儲單一值數據;2.列表(List),適用於隊列和棧;3.集合(Set),用於存儲不重複數據;4.有序集合(SortedSet),適用於排行榜和優先級隊列;5.哈希表(Hash),適合存儲對像或結構化數據。

redis計數器怎麼實現redis計數器怎麼實現Apr 10, 2025 pm 10:21 PM

Redis計數器是一種使用Redis鍵值對存儲來實現計數操作的機制,包含以下步驟:創建計數器鍵、增加計數、減少計數、重置計數和獲取計數。 Redis計數器的優勢包括速度快、高並發、持久性和簡單易用。它可用於用戶訪問計數、實時指標跟踪、遊戲分數和排名以及訂單處理計數等場景。

redis命令行怎麼用redis命令行怎麼用Apr 10, 2025 pm 10:18 PM

使用 Redis 命令行工具 (redis-cli) 可通過以下步驟管理和操作 Redis:連接到服務器,指定地址和端口。使用命令名稱和參數向服務器發送命令。使用 HELP 命令查看特定命令的幫助信息。使用 QUIT 命令退出命令行工具。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它們
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具