Redis 고가용성 클러스터에 대한 자세한 소개
- 尚앞으로
- 2019-11-26 17:11:581913검색
Redis의 클러스터 마스터-슬레이브 모델은 가용성이 높은 클러스터 아키텍처입니다. 이 장의 주요 내용은 고가용성 클러스터 설정, Jedis를 클러스터에 연결, 클러스터 노드 추가, 클러스터 노드 삭제 및 추가 구성 지침입니다. (권장: redis 비디오 튜토리얼)
고가용성 클러스터 구축
클러스터 기술은 비교적 새로운 기술입니다. 클러스터 기술을 통해 더 낮은 비용으로 더 나은 성능, 안정성 및 유연성을 얻을 수 있습니다. 작업 스케줄링은 클러스터 시스템의 핵심 기술입니다.
Redis는 3.0 이후 클러스터링을 지원합니다. Redis 클러스터에는 16384개의 해시 슬롯이 내장되어 있습니다. Redis는 노드 수에 따라 대략 동일하게 해시 슬롯을 다른 노드에 매핑합니다.
모든 노드는 서로 연결되어 있습니다(PING-PONG 메커니즘). 절반 이상의 호스트가 특정 호스트가 다운되었다고 생각하면 호스트가 실제로 다운되고 전체 클러스터를 사용할 수 없게 됩니다.
클러스터의 각 호스트에 여러 슬레이브 시스템이 할당된 경우. 마스터 시스템이 중단되더라도 슬레이브 시스템은 여전히 정상적으로 작동할 수 있습니다. 그러나 클러스터의 호스트 중 절반 이상이 다운되면 슬레이브 시스템의 유무에 관계없이 클러스터를 사용할 수 없습니다.
빌딩 전 준비
Ruby 환경 구축
redis 클러스터 관리 도구인 redis-trib.rb는 Ruby 환경을 기반으로 합니다.
[root@itdragon ~]# yum install ruby [root@itdragon ~]# yum install rubygems [root@itdragon ~]# gem install redis [root@itdragon ~]# cd redis-4.0.2/src/ [root@itdragon src]# cp redis-trib.rb /usr/local/redis-4/bin/
1단계: Ruby 환경 설치
2단계: gem 패키지 설치(gem은 Ruby 애플리케이션을 확장하거나 수정하는 데 사용됩니다).
3단계: redis 압축 해제 디렉터리에서 redis-trib.rb 파일을 찾아 redis 서비스가 시작되는 디렉터리에 복사하면 관리가 쉽습니다.
가능한 문제
1 redis에는 Ruby 버전 >= 2.2.2가 필요하며 해결 방법은 다음과 같습니다
2 /usr/local/rvm/scripts/rvm 디렉토리가 없습니다. 단계 실패
[root@itdragon ~]# ruby --version ruby 1.8.7 (2013-06-27 patchlevel 374) [x86_64-linux] [root@itdragon ~]# yum install curl [root@itdragon ~]# curl -L get.rvm.io | bash -s stable [root@itdragon ~]# source /usr/local/rvm/scripts/rvm [root@itdragon ~]# rvm list known [root@itdragon ~]# rvm install 2.3.3 [root@itdragon ~]# rvm use 2.3.3 [root@itdragon ~]# gem install redis
6개의 Redis 서버 준비
마스터-슬레이브 복제 로직과 동일하게 redis.conf 파일을 6번 복사하고 포트는 6000~6005
[root@itdragon bin]# cp redis.conf redis6000.conf [root@itdragon bin]# vim redis6000.conf port xxxx #修改端口 cluster-enabled yes #打开注释，开启集群模式 cluster-config-file nodes-xxxx.conf #集群的配置文件 pidfile /var/run/redis_xxxx.pid #pidfile文件 logfile "xxxx.log" #日志文件 dbfilename dump_xxxx.rdb #rdb持久化文件 cluster-node-timeout 5000 #请求超时，单位毫秒 appendonly yes #开启aof持久化方式 [root@itdragon bin]# vim start-all.sh ./redis-server redis6000.conf ./redis-server redis6001.conf ./redis-server redis6002.conf ./redis-server redis6003.conf ./redis-server redis6004.conf ./redis-server redis6005.conf [root@itdragon bin]# chmod u+x start-all.sh [root@itdragon bin]# ./start-all.sh [root@itdragon bin]# ps aux | grep redis root 28001 0.0 0.9 145964 9696 ? Ssl 17:45 0:00 ./redis-server 112.74.83.71:6000 [cluster] root 28003 0.0 0.9 145964 9696 ? Ssl 17:45 0:00 ./redis-server 112.74.83.71:6001 [cluster] root 28008 0.0 0.9 145964 9656 ? Ssl 17:45 0:00 ./redis-server 112.74.83.71:6002 [cluster] root 28013 0.0 0.9 145964 9656 ? Ssl 17:45 0:00 ./redis-server 112.74.83.71:6003 [cluster] root 28018 0.1 0.9 145964 9652 ? Ssl 17:45 0:00 ./redis-server 112.74.83.71:6004 [cluster] root 28023 0.0 0.9 145964 9656 ? Ssl 17:45 0:00 ./redis-server 112.74.83.71:6005 [cluster]
1단계: redis.conf 6개 복사 문제가 있다고 생각되면 관련 구성을 수정하세요. 제가 구성한 파일을 사용할 수 있습니다: https://github.com/ITDragonBlog/daydayup/tree/master/Redis/reids.conf
2단계: Redis의 일괄 열기 추가 서비스 프로그램 및 실행 권한 증가
3단계 : 6개의 Redis 서비스가 성공적으로 시작되었는지 확인합니다
마스터-슬레이브 클러스터 구축
클러스터 생성 명령: ./redis-trib.rb create 클러스터를 생성하고, --replicas 1은 각 호스트에 슬레이브를 할당하고 그 뒤에 다른 매개 변수는 redis 서비스의 ip:port입니다. 마지막으로 제안된 구성을 수락하려면 yes를 입력하세요
[root@itdragon bin]# ./redis-trib.rb create --replicas 1 112.74.83.71:6000 112.74.83.71:6001 112.74.83.71:6002 112.74.83.71:6003 112.74.83.71:6004 112.74.83.71:6005 >>> Creating cluster >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 112.74.83.71:6000 112.74.83.71:6001 112.74.83.71:6002 Adding replica 112.74.83.71:6003 to 112.74.83.71:6000 Adding replica 112.74.83.71:6004 to 112.74.83.71:6001 Adding replica 112.74.83.71:6005 to 112.74.83.71:6002 ...... #省略 Can I set the above configuration? (type 'yes' to accept): yes ...... #省略 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered. #有16384个可用的插槽提供服务说明搭建成功 [root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6002 -c 112.74.83.71:6002> set testKey value -> Redirected to slot [5203] located at 112.74.83.71:6000 OK 112.74.83.71:6000> cluster info cluster_state:ok ...... 112.74.83.71:6000> cluster nodes 0968ef8f5ca96681da4abaaf4ca556c2e6dd0242 112.74.83.71:6002@16002 master - 0 1512035804722 3 connected 10923-16383 13ddd4c1b8c00926f61aa6daaa7fd8d87ee97830 112.74.83.71:6005@16005 slave 0968ef8f5ca96681da4abaaf4ca556c2e6dd0242 0 1512035803720 6 connected a3bb22e04deec2fca653c606edf5b02b819f924f 112.74.83.71:6003@16003 slave 1d4779469053930f30162e89b6711d27a112b601 0 1512035802000 4 connected 1d4779469053930f30162e89b6711d27a112b601 112.74.83.71:6000@16000 myself,master - 0 1512035802000 1 connected 0-5460 a3b99cb5d22f5cbd293179e262f5eda931733c88 112.74.83.71:6001@16001 master - 0 1512035802719 2 connected 5461-10922 915a47afc4f9b94389676b4e14f78cba66be9e5d 112.74.83.71:6004@16004 slave a3b99cb5d22f5cbd293179e262f5eda931733c88 0 1512035801717 5 connected
1단계: 클러스터를 빌드하세요./redis-trib.rb create, 제안된 구성을 수락하려면 yes를 선택하세요
2단계: 클러스터 클라이언트를 입력하세요./redis-cli -h any 호스트 호스트 -p 모든 호스트 포트 -c, -c는 클러스터 모드에서 Redis에 연결하는 것을 의미합니다
3단계: 데이터 저장
4단계: 클러스터 정보 클러스터 상태 정보 쿼리
5단계: 클러스터 노드 클러스터 노드 쿼리 정보가 있습니다. 여기에는 구덩이가 있으며 나중에 발생할 수 있는 문제가 소개될 것입니다
죄송합니다. 클러스터 구성 파일인 node.conf는 이미 다른 Redis 클러스터 노드에서 사용되었습니다. 각 노드가 다른 클러스터 구성 파일을 사용하는지 확인하세요.
매우 명확합니다. , 이름이 중복되지 않도록 Cluster-config-file node.conf 파일을 수정하거나 파일을 삭제하고 클러스터를 다시 생성하십시오.
클러스터 노드 클러스터 노드 정보 쿼리
우리가 주의해야 할 정보는 다음과 같습니다.
첫 번째 매개 변수: 노드 ID
두 번째 매개 변수: IP: PORT@TCP 여기에 구덩이가 있습니다. , jedis -2.9.0 이전 버전에서 @를 파싱할 때 오류가 발생했습니다
세 번째 매개변수: flag(Master, Slave, Myself, Fail...)
네 번째 매개변수: 슬레이브인 경우 노드 ID입니다. 호스트
마지막으로 두 개의 매개변수: 연결 상태와 슬롯 위치.接jedis 연결 클러스터
우선 방화벽을 구성하고[root@itdragon ~]# vim /etc/sysconfig/iptables
-A INPUT -p tcp -m tcp --dport 6000 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6001 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6002 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6003 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6004 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6005 -j ACCEPT
[root@itdragon ~]# service iptables restart
, 마지막으로 Spring<!-- jedis集群版配置 -->
<bean id="redisClient" class="redis.clients.jedis.JedisCluster">
<constructor-arg name="nodes">
<set>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="${redis.host}"></constructor-arg>
<constructor-arg name="port" value="6000" />
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="${redis.host}"></constructor-arg>
<constructor-arg name="port" value="6001" />
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="${redis.host}"></constructor-arg>
<constructor-arg name="port" value="6002" />
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="${redis.host}"></constructor-arg>
<constructor-arg name="port" value="6003" />
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="${redis.host}"></constructor-arg>
<constructor-arg name="port" value="6004" />
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="${redis.host}"></constructor-arg>
<constructor-arg name="port" value="6005" />
</bean>
</set>
</constructor-arg>
<constructor-arg name="poolConfig" ref="jedisPoolConfig" />
</bean>
<bean id="jedisClientCluster" class="com.itdragon.service.impl.JedisClientCluster"></bean> 단위 테스트
/**
* 集群版测试
* 若提示以下类似的错误：
* java.lang.NumberFormatException: For input string: "6002@16002"
* 若安装的redis 版本大于4，则可能是jedis 的版本低了。选择 2.9.0
* 因为 cluster nodes 打印的信息中，4版本之前的是没有 @16002 tcp端口信息
* 0968ef8f5ca96681da4abaaf4ca556c2e6dd0242 112.74.83.71:6002@16002 master - 0 1512035804722 3 connected 10923-16383
*/
@Test
public void testJedisCluster() throws IOException {
HashSet<HostAndPort> nodes = new HashSet<>();
nodes.add(new HostAndPort(HOST, 6000));
nodes.add(new HostAndPort(HOST, 6001));
nodes.add(new HostAndPort(HOST, 6002));
nodes.add(new HostAndPort(HOST, 6003));
nodes.add(new HostAndPort(HOST, 6004));
nodes.add(new HostAndPort(HOST, 6005));
JedisCluster cluster = new JedisCluster(nodes);
cluster.set("cluster-key", "cluster-value");
System.out.println("集群测试 ： " + cluster.get("cluster-key"));
cluster.close();
}가능한 문제
java.lang.numberFormatexception을 통합합니다. 입력 문자열: "6002@16002@16002 @16002@16002 "
redis 버전이 4.0.0 이상이라면 jedis-2.9.0 이상 사용을 권장합니다.
소스 코드:
https://github.com/ITDragonBlog/daydayup/tree/master/Redis/ssm-redis 클러스터 노드 작업마스터 노드 추가[root@itdragon bin]# cp redis6005.conf redis6006.conf
[root@itdragon bin]# ./redis-server redis6006.conf
[root@itdragon bin]# ./redis-trib.rb add-node 112.74.83.71:6006 112.74.83.71:6000
[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6000 cluster nodes
916d26e9638dc51e168f32969da11e19c875f48f 112.74.83.71:6006@16006 master - 0 1512115612162 0 connected # 没有分配槽
[root@itdragon bin]# ./redis-trib.rb reshard 112.74.83.71:6000
How many slots do you want to move (from 1 to 16384)? 500
What is the receiving node ID? 916d26e9638dc51e168f32969da11e19c875f48f
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1:all
Do you want to proceed with the proposed reshard plan (yes/no)? yes
[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6000 cluster nodes
916d26e9638dc51e168f32969da11e19c875f48f 112.74.83.71:6006@16006 master - 0 1512116047897 7 connected 0-165 5461-5627 10923-11088
1단계: redis6006을 생성합니다. conf를 열고 Redis 서비스를 시작합니다2단계: 호스트 노드를 추가합니다. "[OK] New node added 올바르게."가 인쇄되면 추가가 성공한 것입니다.
3단계: 클러스터 노드 정보를 쿼리하고 6006을 찾습니다. port 호스트가 추가되었으나 연결상태 이후 컨텐츠가 없습니다. 즉 슬롯이 할당되지 않은 상태입니다
第四步：给6006端口主机分配槽，
第一个参数：需要移动槽的个数，
第二个参数：接受槽的节点ID，
第三个参数：输入"all"表示从所有原节点中获取槽，
第四个参数：输入"yes"开始移动槽到目标结点id
第五步：查询集群节点信息，发现6006端口的主机已经分配了槽
核心命令：
./redis-trib.rb add-node 新增主机ip:port 集群任意节点ip:port
./redis-trib.rb reshard 集群任意节点ip:port
可能存在的问题
[ERR] Sorry, can't connect to node 112.74.83.71:6006
说明：新增的主机必须要是启动状态。
添加从节点
[root@itdragon bin]# cp redis6006.conf redis6007.conf [root@itdragon bin]# vim redis6007.conf [root@itdragon bin]# ./redis-server redis6007.conf [root@itdragon bin]# ./redis-trib.rb add-node --slave --master-id 916d26e9638dc51e168f32969da11e19c875f48f 112.74.83.71:6007 112.74.83.71:6006 [root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6000 cluster nodes 80315a4dee2d0fa46b8ac722962567fc903e797a 112.74.83.71:6007@16007 slave 916d26e9638dc51e168f32969da11e19c875f48f 0 1512117377000 7 connected
第一步：创建 redis6007.conf 的新主机，并启动Redis服务
第二步：新增从机节点，在原来的命令上多了 --slave --master-id 主节点ID
第三步：查询集群节点信息
删除结点
删除节点前，要确保该节点没有值，否则提示：is not empty! Reshard data away and try again. 若该节点有值，则需要把槽分配出去
./redis-trib.rb del-node 112.74.83.71:6006 916d26e9638dc51e168f32969da11e19c875f48f
配置文件补充
前几章Redis教程中介绍了以下配置
1 开启Redis 的守护进程 ：daemonize yes
2 指定pid文件写入文件名 ：pidfile /var/run/redis.pid
3 指定Redis 端口：port 6379
4 绑定的主机地址 ：bind 127.0.0.1
5 Redis持久化默认开启压缩数据：rdbcompression yes
6 指定rdb文件名：dbfilename dump.rdb
7 指定rdb文件位置：dir ./
8 从机启动时，它会自动从master进行数据同步：slaveof 3b8f36e8511915bce7c9b299b6ebb319 740e73133ae348627555b474d9c495f6
9 开启aof持久化方式：appendonly yes
10 指定aof文件名：appendfilename appendonly.aof
11 触发aof快照机制：appendfsync everysec (no/always)
本章节是Redis教程中的最后一章，把剩下的配置也一起说了吧
1 设置客户端连接超时时间，0表示关闭 ：timeout 300
2 设置Redis日志级别，debug、verbose(默认)、notice、warning：loglevel verbose
3 设置数据库的数量：databases 1
4 设置Redis连接密码：requirepass foobared
5 设置同一时间最大客户端连接数，默认无限制：maxclients 128
6 指定Redis最大内存限制：maxmemory e6ea25fe04e706feb596307d341ecaa0
7 指定是否启用虚拟内存机制：vm-enabled no
8 指定虚拟内存文件路径：vm-swap-file /tmp/redis.swap
9 指定包含其它的配置文件：include /path/to/local.conf
更多redis知识请关注redis数据库教程栏目。
위 내용은 Redis 고가용성 클러스터에 대한 자세한 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!