推薦學習:Redis影片教學
#前言
redis可以說在實際專案開發中使用的非常頻繁,在redis常用集群中,我們聊到了redis常用的幾種集群方案,不同的集群對應著不同的場景,並且詳細說明了各種集群的優劣,本篇將以redis 分片集群為切入點,從redis 分片集群的搭建開始,詳細說說redis 分片集群相關的技術點;
- 單點故障;
- 單機寫入(高並發寫)瓶頸;
- 單機儲存資料容量限制;
- 叢集自動伸縮;
- 叢集自動故障下線與轉移;
建置叢集架構圖
前置準備
1、準備一台(或6台伺服器,條件允許的情況下)虛擬機器或伺服器;
本例為示範效果準備了一台記憶體8G的伺服器,將透過連接埠進行master和slave的分割
2、提前下載好redis安裝套件;
搭建步驟
1、建立6個目錄文件,分別用於保存各個redis範例的資料
mkdir 7001 7002 7003 8001 8002 8003
2、在目前目錄下建立一個redis.conf文件,內容如下
port 6379 # 开启集群功能 cluster-enabled yes # 集群的配置文件名称,不需要我们创建,由redis自己维护 cluster-config-file /usr/local/soft/redis/6379/nodes.conf # 节点心跳失败的超时时间 cluster-node-timeout 5000 # 持久化文件存放目录 dir /usr/local/soft/redis/6379 # 绑定地址 bind 0.0.0.0 # 让redis后台运行 daemonize yes # 注册的实例ip replica-announce-ip 本机公网IP # 保护模式 protected-mode no # 数据库数量 databases 1 # 日志 logfile /usr/local/soft/redis/6379/run.log
3、批次將該設定檔拷貝到各個目錄下
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf
4、修改每個目錄下redis.conf,將其中的6379修改為與所在目錄一致
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf
隨機打開某個redis.conf看看是否修改成功
4、使用下面的指令進行啟動
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7001/redis.conf /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7003/redis.conf /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8001/redis.conf /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8002/redis.conf /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8003/redis.conf
執行完成後,可以看到6個redis實例已經開啟
建立集群
經過以上的步驟,就開啟了6個redis的實例,但是這些實例之間並沒有形成一個集群,接下來就需要執行相關的命令將它們構成一個集群
1、使用以下命令構建集群(5.0之後的版本的命令)
redis-cli --cluster create --cluster-replicas 1 IP地址:7001 IP地址:7002 IP地址:7003 IP地址:8001 IP地址:8002 IP地址:8003
關於上面指令的說明
- redis-cli --cluster 或./redis-trib.rb:代表群集操作指令;
- create:代表是建立叢集;
- –replicas 1或–cluster-replicas 1 :指定叢集中每個master的副本個數為1,此時節點總數÷ (replicas 1)得到的就是master的數量。因此節點列表中的前n個就是master,其它節點都是slave節點,隨機分配到不同master ;
也可以透過redis-cli --cluster help 指令進行群集指令的檢視;
執行指令後,控制台提示會使用哪個範例作為master,哪個作為slave;
#繼續輸入yes之後,將會依照上面的策略建立一個群集出來
透過這個輸出的日誌大概可以得到以下資訊:
- 埠號依次為7001,7002和7003的為master節點;
- 埠號依序為8001,8002和8003的為slave節點;
- #埠號依序為7001,7002和7003的master節點,各自分配了一定區間的槽位數,分別是:[0-5460],[5461-10922],[10923-16383],即總共分配16384個槽位;
2、查看叢集狀態
redis-cli -p 7001 cluster nodes
通过这个命令,可以清楚的看到集群中各个实例节点的主从状态,实例ID(唯一身份标识),槽位区间等信息
Redis散列插槽说明
其实对redis分片集群稍有了解的同学应该知道,redis分片集群在逻辑上将集群中的所有节点构成了一块完整的内存空间,数据写入进来后,具体存放到哪个节点呢?所以集群引入了一个逻辑尚的插槽概念,即将集群划分为16384个槽位,集群中的每个节点占据一部分槽位数(这个日志中可以看出来);
那么当某个具体的key写入的时候,集群将会通过一定的算法,将要写入的数据路由到指定的插槽上去;
这里有个点需要注意,数据key不是与节点绑定,而是与插槽绑定。
redis集群会根据key的有效部分计算插槽值,分两种情况:
- key中包含"{}",且“{}”中至少包含1个字符,“{}”中的部分是有效部分;
- key中不包含“{}”,整个key都是有效部分;
举例来说:key是num,那么就根据num计算,如果是{应用名称}num,则根据“应用名称”计算。计算方式是利用CRC16算法得到一个hash值,然后对16384取余,得到的结果就是slot值
下面不妨看下效果
通过上面的演示可以发现,经过集群计算的key将会分配到不同的插槽上,也就是说,key是与插槽绑定,而不是与某个节点绑定,想想为什么会这样呢?
思考下面这个需求
如何将同一类数据固定的保存在同一个Redis实例?
简单来说,如果key的分配完全没有规则的话,当涉及到某个业务类的数据对应的key随机分配到不同的节点上面时,取值的时候就会出现像上面的重定向跨节点的问题,一定程度上提升性能;
解决办法
这一类数据使用相同的有效部分,例如key都以{业务ID}为前缀
集群伸缩(添加节点)
reids的cluster模式下,有一个比较强的功能就是集群的伸缩能力,即在现有的集群基础上,可以根据实际的业务需求,进行集群的伸缩,下面来演示下给上面的集群添加一个新节点的步骤;
1、在当前目录下拷贝一个目录
2、修改配置文件的端口
sed -i s/6379/7004/g 7004/redis.conf
3、启动这个实例
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7004/redis.conf
4、使用下面的命令将7004实例假如集群
redis-cli --cluster add-node IP:7004 IP:7001
5、再次查看集群状态
redis-cli -p 7001 cluster nodes
通过上面的状态信息发现,7004这个节点虽然加入了集群,并成了master,但是集群并没有给它分配任何的插槽
6、分配插槽
分配插槽的基本思路是,从现有的某个节点上迁移部分插槽到新的节点即可,执行下面的命令进行插槽分配
redis-cli --cluster reshard 101.34.23.80:7001
执行命令后将出现下面的提示,这里输入你要转移的插槽数量
将7004对应的实例ID输入即可
输入yes后开始移动插槽
移动完成后,再次查看集群状态,这时候7004对应的节点就分配到了从0 ~ 500的数量的插槽
故障转移
redis的cluster模式的集群,还具备一定的故障转移能力,比如在上面的架构模式下,当集群中的某个master节点宕机之后,会出现什么情况呢?下面我们来模拟下这个过程,看看效果如何
1、使用watch命令监控下集群的状态
通过这个命令可以实时查看集群的动态日志变化
watch redis-cli -p 7001 cluster nodes
2、手动将7002实例的master宕机
redis-cli -p 7002 shutdown
从上面的监控日志不难发现,当7002挂掉后,过了一会儿与集群以及它的从节点8003失去了联系,然后8003这个节点升级为master节点;
3、手动将7002实例启动起来
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf
再次分析日志,可以看到这时候7002只能以slave的身份加入了集群,事实上在某些情况下,我们仍然希望这个宕机的节点恢复后依然是主节点,这该怎么办呢?这就涉及到了手动故障转移,主要操作步骤如下:
- 使用redis-cli连接7002节点;
- 执行cluster failover命令;
在上面执行之后的情况下,7002是一个slave节点
执行 CLUSTER FAILOVER 命令,观察日志动态变化,通过日志变化,可以看到,命令执行完毕后,7002很快就变成了master,而8003成了slave;
通过以上步骤就完成了redis的cluster模式下的故障转移的过程
使用redistemplate访问分片集群
1、引入依赖
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency>
2、将配置文件中的集群地址修改成下面这样即可
spring: redis: cluster: nodes: - 集群IP:7001 - 集群IP:7002 - 集群IP:7003 - 集群IP:7004 - 集群IP:8001 - 集群IP:8002 - 集群IP:8003
至于具体的代码部分,可以参考下面的这个测试案例
@Autowired private RedisTemplate<String,String> redisTemplate; //localhost:8083/set?key=b&value=123 @GetMapping("/set") public void set(@RequestParam String key,@RequestParam String value){ redisTemplate.opsForValue().set(key,value); } //localhost:8083/get?key=b @GetMapping("/get") public String get(@RequestParam String key){ return redisTemplate.opsForValue().get(key); }
推荐学习:Redis视频教程
以上是redis分片集群搭建與使用詳解的詳細內容。更多資訊請關注PHP中文網其他相關文章!

Redis的數據模型和結構包括五種主要類型:1.字符串(String):用於存儲文本或二進制數據,支持原子操作。 2.列表(List):有序元素集合,適合隊列和堆棧。 3.集合(Set):無序唯一元素集合,支持集合運算。 4.有序集合(SortedSet):帶分數的唯一元素集合,適用於排行榜。 5.哈希表(Hash):鍵值對集合,適合存儲對象。

Redis的數據庫方法包括內存數據庫和鍵值存儲。 1)Redis將數據存儲在內存中,讀寫速度快。 2)它使用鍵值對存儲數據,支持複雜數據結構,如列表、集合、哈希表和有序集合,適用於緩存和NoSQL數據庫。

Redis是一個強大的數據庫解決方案,因為它提供了極速性能、豐富的數據結構、高可用性和擴展性、持久化能力以及廣泛的生態系統支持。 1)極速性能:Redis的數據存儲在內存中,讀寫速度極快,適合高並發和低延遲應用。 2)豐富的數據結構:支持多種數據類型,如列表、集合等,適用於多種場景。 3)高可用性和擴展性:支持主從復制和集群模式,實現高可用性和水平擴展。 4)持久化和數據安全:通過RDB和AOF兩種方式實現數據持久化,確保數據的完整性和可靠性。 5)廣泛的生態系統和社區支持:擁有龐大的生態系統和活躍社區,

Redis的關鍵特性包括速度、靈活性和豐富的數據結構支持。 1)速度:Redis作為內存數據庫,讀寫操作幾乎瞬時,適用於緩存和會話管理。 2)靈活性:支持多種數據結構,如字符串、列表、集合等,適用於復雜數據處理。 3)數據結構支持:提供字符串、列表、集合、哈希表等,適合不同業務需求。

Redis的核心功能是高性能的內存數據存儲和處理系統。 1)高速數據訪問:Redis將數據存儲在內存中,提供微秒級別的讀寫速度。 2)豐富的數據結構:支持字符串、列表、集合等,適應多種應用場景。 3)持久化:通過RDB和AOF方式將數據持久化到磁盤。 4)發布訂閱:可用於消息隊列或實時通信系統。

Redis支持多種數據結構,具體包括:1.字符串(String),適合存儲單一值數據;2.列表(List),適用於隊列和棧;3.集合(Set),用於存儲不重複數據;4.有序集合(SortedSet),適用於排行榜和優先級隊列;5.哈希表(Hash),適合存儲對像或結構化數據。

Redis計數器是一種使用Redis鍵值對存儲來實現計數操作的機制,包含以下步驟:創建計數器鍵、增加計數、減少計數、重置計數和獲取計數。 Redis計數器的優勢包括速度快、高並發、持久性和簡單易用。它可用於用戶訪問計數、實時指標跟踪、遊戲分數和排名以及訂單處理計數等場景。

使用 Redis 命令行工具 (redis-cli) 可通過以下步驟管理和操作 Redis:連接到服務器,指定地址和端口。使用命令名稱和參數向服務器發送命令。使用 HELP 命令查看特定命令的幫助信息。使用 QUIT 命令退出命令行工具。


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

mPDF
mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Atom編輯器mac版下載
最受歡迎的的開源編輯器

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

PhpStorm Mac 版本
最新(2018.2.1 )專業的PHP整合開發工具

WebStorm Mac版
好用的JavaScript開發工具