Einführung in die verteilte Redis-Clusterkonstruktion

Redis-Cluster-Architekturdiagramm

Die blaue Farbe im obigen Bild ist der Redis-Clusterknoten.

Verwenden Sie den Ping-Befehl zwischen Knoten, um zu testen, ob die Verbindung normal ist. Es gibt keinen Hauptunterschied zwischen Knoten. Wenn Sie eine Verbindung zu einem beliebigen Knoten herstellen, wird diese möglicherweise an andere Knoten weitergeleitet.

1. Redis-Fehlertoleranzmechanismus

Knoten senden einander regelmäßig Ping-Befehle, um den Gesundheitszustand der Knoten zu testen. Sie werden eine Pong-Schnur zurückgeben.

Abstimmungsmechanismus: Wenn ein Knoten A einen Ping an Knoten B sendet, aber keine Pong-Rückmeldung erhält, werden andere Knoten benachrichtigt, erneut einen Ping an B zu senden, wenn mehr als die Hälfte der Knoten im Cluster dies nicht können Empfangen Sie den Pong von Knoten B. Dann wird davon ausgegangen, dass Knoten B ausgefallen ist. Im Allgemeinen wird für jeden Knoten ein Backup-Knoten bereitgestellt. Bei einem Ausfall wird auf den Backup-Knoten umgeschaltet.

2. Redis-Clusterspeicherprinzip

Redis führt eine Hash-Operation für jeden gespeicherten Schlüssel durch und generiert einen Hash-Wert von [0-16384] (zuerst

crc-Algorithmus nimmt dann den Rest von 16384).

Im Falle eines Clusters wird das Intervall [0-16384] aufgeteilt und in verschiedenen Redis abgelegt.

3. Redis-Persistenz

Snapshotting: Regelmäßig die Daten im Redis-Speicher auf der Festplatte speichern

AOF: Alle Befehle speichern Der Vorgang wird gespeichert Die Synchronisierungsfrequenz von AOP ist sehr hoch. Auch wenn die Daten verloren gehen, ist die Granularität sehr gering, aber dies hat Auswirkungen auf die Leistung.

2. Cluster-Umgebungsaufbau

Redis-Cluster-Management-Tool redis-trib.rb Wenn Sie sich auf die Ruby-Umgebung verlassen, müssen Sie zuerst die Ruby-Umgebung installieren

Ruby installieren

yum install ruby
yum install rubygems

Das Schnittstellenprogramm für Ruby und Redis installieren

Kopieren redis-3.0.0.gem nach /usr/local Ausführen unter

:

gem install /usr/local/redis-3.0.0.gem

3. Erstellen Sie einen Redis-Cluster

Auf einem Server können Sie unterschiedliche Portnummern verwenden, um verschiedene Redis-Server darzustellen.

Der Redis-Cluster erfordert mindestens drei Server und jeder Server erfordert einen Backup-Server, sodass mindestens 6 Server erforderlich sind. Die Portplanung sieht wie folgt aus:

Master-Server: 192.168.100.66:7001:7002:7003

Slave-Server: 192.168.100.66:7004:7005:7006

In /usr/ local Erstellen Sie einen Ordner zum Speichern des Serverprogramms

mkdir 7001 7002 7003 7004 7005 7006

Wenn Sie möchten, dass Redis den Cluster unterstützt, müssen Sie das Cluster-fähige JaIn diesem Beispiel verwenden wir Ports, um verschiedene Redis-Dienste zu unterscheiden, daher müssen wir auch den Port von redis.config in den entsprechenden Port ändern

Nach dem Ändern des Kopieren Sie in der Konfigurationsdatei den Bin des Redis-Installationsverzeichnisses in jedes Verzeichnis oberhalb der Mitte.

Geben Sie jeweils 7001/bin/7002/bin ein....

Starten Sie den Dienst ./redis-server ./redis.conf

Sehen Sie sich den Redis-Prozess an: ps - aux|grep redis Das folgende Bild zeigt, dass der Start erfolgreich war

Cluster erstellen:

Ändern Sie redis-3.0.0/src/redis von Der zuvor entpackte Ordner -trib.rb wird in das Redis-Cluster-Verzeichnis kopiert.

Ausführen

./redis-trib.rb create --replicas 1 192.168.100.66:7001 192.168.100.66:7002 192.168.100.66:7003 192.168.100.66:7004 192.168.100.66:7005  192.168.100.66:7006

Bei Ausführung wird der folgende Fehler gemeldet:

[ERR] Node XXXXXX is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0

Die Lösung ist: Löschen Sie die generierte Konfigurationsdatei nodes.conf. Wenn dies fehlschlägt, bedeutet dies, dass der erstellte Knoten jetzt die Knoteninformationen des alten Clusters enthält. Sie müssen die Persistenzdatei von Redis löschen und dann Redis neu starten, zum Beispiel: appendonly.aof , dump.rdb

Bei Erfolg geben Sie Folgendes ein:

Clusterinformationen abfragen:

Anweisungen:

./redis-cli -c - h 192.168.101.3 -p 7001, wobei -c die Verbindung zu Redis im Cluster-Modus angibt, -h die IP-Adresse angibt und -p die Portnummer angibt

Clusterknoten Clusterknoteninformationen abfragen

Clusterinformationen Clusterstatusinformationen abfragen

Hash-Slot-Neuzuweisung

Schritt 1: Mit dem Cluster verbinden

./ redis-trib.rb reshard 192.168.101.3:7001 (mit jedem verfügbaren Knoten im Cluster verbinden)

Schritt 2: Enter die Anzahl der zuzuweisenden Slots

Geben Sie 500 ein, um 500 Slots zuzuweisen

Schritt 3: Geben Sie die Knoten-ID des empfangenden Slots ein

这里准备给7007分配槽，通过cluster nodes查看7007结点id为15b809eadae88955e36bcdbb8144f61bbbaf38fb

输入：15b809eadae88955e36bcdbb8144f61bbbaf38fb 

第四步：输入源结点id

这里输入all

第五步：输入yes开始移动槽到目标结点id

添加从节点

 

集群创建成功后可以向集群中添加节点，下面是添加一个slave从节点。

添加7008从结点，将7008作为7007的从结点。

./redis-trib.rb add-node --slave --master-id 主节点id 添加节点的ip和端口 集群中已存在节点ip和端口

执行如下命令：

./redis-trib.rb add-node --slave --master-id cad9f7413ec6842c971dbcc2c48b4ca959eb5db4  192.168.101.3:7008 192.168.101.3:7001

cad9f7413ec6842c971dbcc2c48b4ca959eb5db4  是7007结点的id，可通过cluster nodes查看。

注意：如果原来该结点在集群中的配置信息已经生成cluster-config-file指定的配置文件中（如果cluster-config-file没有指定则默认为nodes.conf），这时可能会报错：

[ERR] Node XXXXXX is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0

解决方法是删除生成的配置文件nodes.conf，删除后再执行./redis-trib.rb add-node指令

查看集群中的结点，刚添加的7008为7007的从节点：

 删除结点：

./redis-trib.rb del-node 127.0.0.1:7005 4b45eb75c8b428fbd77ab979b85080146a9bc017

删除已经占有hash槽的结点会失败，报错如下：

[ERR] Node 127.0.0.1:7005 is not empty! Reshard data away and try again.

需要将该结点占用的hash槽分配出去（参考hash槽重新分配章节）。

测试:

Maven:
<dependencies>
    <dependency>
        <groupId>redis.clients</groupId>
        <artifactId>jedis</artifactId>
        <version>2.7.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/junit/junit -->
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
        <scope>test</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.springframework/spring-test -->
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-test</artifactId>
        <version>4.3.10.RELEASE</version>
        <scope>test</scope>
    </dependency>
</dependencies>

普通测试：

@Test
public void redisClusterTest1(){
    JedisPoolConfig config=new JedisPoolConfig();
    config.setMaxTotal(30);
    config.setMaxIdle(2);

    Set<HostAndPort> jedisNode=new HashSet<HostAndPort>();
    jedisNode.add(new HostAndPort("192.168.100.66",7001));
    jedisNode.add(new HostAndPort("192.168.100.66",7002));
    jedisNode.add(new HostAndPort("192.168.100.66",7003));
    jedisNode.add(new HostAndPort("192.168.100.66",7004));
    jedisNode.add(new HostAndPort("192.168.100.66",7005));
    jedisNode.add(new HostAndPort("192.168.100.66",7006));

    JedisCluster jc=new JedisCluster(jedisNode,config);
    jc.set("name","老王");
    String value=jc.get("name");
    System.out.println(value);
}

Spring测试：

配置文件：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">
    <!-- 连接池配置 -->
    <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
        <!-- 最大连接数 -->
        <property name="maxTotal" value="30" />
        <!-- 最大空闲连接数 -->
        <property name="maxIdle" value="10" />
        <!-- 每次释放连接的最大数目 -->
        <property name="numTestsPerEvictionRun" value="1024" />
        <!-- 释放连接的扫描间隔（毫秒） -->
        <property name="timeBetweenEvictionRunsMillis" value="30000" />
        <!-- 连接最小空闲时间 -->
        <property name="minEvictableIdleTimeMillis" value="1800000" />
        <!-- 连接空闲多久后释放, 当空闲时间>该值 且 空闲连接>最大空闲连接数 时直接释放 -->
        <property name="softMinEvictableIdleTimeMillis" value="10000" />
        <!-- 获取连接时的最大等待毫秒数,小于零:阻塞不确定的时间,默认-1 -->
        <property name="maxWaitMillis" value="1500" />
        <!-- 在获取连接的时候检查有效性, 默认false -->
        <property name="testOnBorrow" value="true" />
        <!-- 在空闲时检查有效性, 默认false -->
        <property name="testWhileIdle" value="true" />
        <!-- 连接耗尽时是否阻塞, false报异常,ture阻塞直到超时, 默认true -->
        <property name="blockWhenExhausted" value="false" />
    </bean>
    <!-- redis集群 -->
    <bean id="jedisCluster" class="redis.clients.jedis.JedisCluster">
        <constructor-arg index="0">
            <set>
                <bean class="redis.clients.jedis.HostAndPort">
                    <constructor-arg index="0" value="192.168.100.66"></constructor-arg>
                    <constructor-arg index="1" value="7001"></constructor-arg>
                </bean>
                <bean class="redis.clients.jedis.HostAndPort">
                    <constructor-arg index="0" value="192.168.100.66"></constructor-arg>
                    <constructor-arg index="1" value="7002"></constructor-arg>
                </bean>
                <bean class="redis.clients.jedis.HostAndPort">
                    <constructor-arg index="0" value="192.168.100.66"></constructor-arg>
                    <constructor-arg index="1" value="7003"></constructor-arg>
                </bean>
                <bean class="redis.clients.jedis.HostAndPort">
                    <constructor-arg index="0" value="192.168.100.66"></constructor-arg>
                    <constructor-arg index="1" value="7004"></constructor-arg>
                </bean>
                <bean class="redis.clients.jedis.HostAndPort">
                    <constructor-arg index="0" value="192.168.100.66"></constructor-arg>
                    <constructor-arg index="1" value="7005"></constructor-arg>
                </bean>
                <bean class="redis.clients.jedis.HostAndPort">
                    <constructor-arg index="0" value="192.168.100.66"></constructor-arg>
                    <constructor-arg index="1" value="7006"></constructor-arg>
                </bean>
            </set>
        </constructor-arg>
        <constructor-arg index="1" ref="jedisPoolConfig"></constructor-arg>
    </bean>
</beans>

测试类：

@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration({"classpath:spring-config.xml"})
public class RedisClusterTest {
    @Autowired
    private JedisCluster jedisCluster;
    @Test
    public void redisClusterTest2(){
        jedisCluster.set("username","小明啦啦");
        String name=jedisCluster.get("username");
        System.out.println(name);
    }
}

更多redis知识请关注redis数据库教程栏目。

Das obige ist der detaillierte Inhalt vonEinführung in die verteilte Redis-Clusterkonstruktion. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!