Bagaimana untuk menggunakan kluster redis dalam k8s

Pembinaan kluster Redis

1.1 Buat kluster menggunakan redis-cli

# 查看redis的pod对应的ip
kubectl get pod -n jxbp -o wide
>NAME                             READY   STATUS    RESTARTS   AGE    IP               NODE         NOMINATED NODE   READINESS GATES
 redis-0                          1/1     Running   0          18h    10.168.235.196   k8s-master   <none>           <none>
 redis-1                          1/1     Running   0          18h    10.168.235.225   k8s-master   <none>           <none>
 redis-2                          1/1     Running   0          18h    10.168.235.239   k8s-master   <none>           <none>
 redis-3                          1/1     Running   0          18h    10.168.235.198   k8s-master   <none>           <none>
 redis-4                          1/1     Running   0          18h    10.168.235.222   k8s-master   <none>           <none>
 redis-5                          1/1     Running   0          18h    10.168.235.238   k8s-master   <none>           <none>
# 进入到redis-0容器
kubectl exec -it redis-0 /bin/bash -n jxbp
# 创建master节点（redis-0、redis-2、redis-4）
redis-cli --cluster create 10.168.235.196:6379 10.168.235.239:6379 10.168.235.222:6379 -a jxbd
    > Warning: Using a password with &#39;-a&#39; or &#39;-u&#39; option on the command line interface may not be safe.
    >>> Performing hash slots allocation on 3 nodes...
    Master[0] -> Slots 0 - 5460
    Master[1] -> Slots 5461 - 10922
    Master[2] -> Slots 10923 - 16383
    M: bcae187137a9b30d7dab8fe0d8ed4a46c6e39638 10.168.235.196:6379
       slots:[0-5460] (5461 slots) master
    M: 4367e4a45e557406a3112e7b79f82a44d4ce485e 10.168.235.239:6379
       slots:[5461-10922] (5462 slots) master
    M: a2cec159bbe2efa11a8f60287b90927bcb214729 10.168.235.222:6379
       slots:[10923-16383] (5461 slots) master
    Can I set the above configuration? (type &#39;yes&#39; to accept): yes
    >>> Nodes configuration updated
    >>> Assign a different config epoch to each node
    >>> Sending CLUSTER MEET messages to join the cluster
    Waiting for the cluster to join
    .
    >>> Performing Cluster Check (using node 10.168.235.196:6379)
    M: bcae187137a9b30d7dab8fe0d8ed4a46c6e39638 10.168.235.196:6379
       slots:[0-5460] (5461 slots) master
    M: a2cec159bbe2efa11a8f60287b90927bcb214729 10.168.235.222:6379
       slots:[10923-16383] (5461 slots) master
    M: 4367e4a45e557406a3112e7b79f82a44d4ce485e 10.168.235.239:6379
       slots:[5461-10922] (5462 slots) master
    [OK] All nodes agree about slots configuration.
    >>> Check for open slots...
    >>> Check slots coverage...
    [OK] All 16384 slots covered.

Perhatikan bahawa nod induk di atas akan menjana id nod yang sepadan: bcae187137a9b30d7dab8fe0d8ed4a46c6e39638, a2cec159bbe2efa11a8f60287b90927bcb214729, 4367e4a45e557406a3112e7b79f82a44d4ce485e, Digunakan untuk mencipta nod hamba.

# 为每个master节点添加slave节点
# 10.168.235.196:6379的位置可以是任意一个master节点,一般我们用第一个master节点即redis-0的ip地址
# --cluster-master-id参数指定该salve节点对应的master节点的id
# -a参数指定redis的密码
# redis-0的master节点，添加redis-1为slave节点
redis-cli --cluster add-node 10.168.235.225:6379 10.168.235.196:6379 --cluster-slave --cluster-master-id bcae187137a9b30d7dab8fe0d8ed4a46c6e39638 -a jxbd
# redis-2的master节点，添加redis-3为slave节点
redis-cli --cluster add-node 10.168.235.198:6379 10.168.235.239:6379 --cluster-slave --cluster-master-id a2cec159bbe2efa11a8f60287b90927bcb214729 -a jxbd
# redis-4的master节点，添加redis-5为slave节点
redis-cli --cluster add-node 10.168.233.238:6379 10.168.235.222:6379 --cluster-slave --cluster-master-id 4367e4a45e557406a3112e7b79f82a44d4ce485e -a jxbd

memaparkan maklumat berikut, yang bermaksud penambahan berjaya:

[OK] Semua nod bersetuju tentang konfigurasi slot.

[OK] Semua 16384 slot dilindungi.

[OK] Nod baharu ditambah dengan betul.

Perangkap:

Pada mulanya, saya ingin menggunakan nama domain tanpa kepala untuk mencipta gugusan redis, supaya tidak perlu kemas kini IP selepas nod dimulakan semula, tetapi redis tidak Ia menyokong penggunaan nama domain, jadi ia hanya boleh berputar dalam bulatan dan kembali kepada kaedah IP tetap, yang sangat tidak konsisten dengan persekitaran kontena.

Pengesahan status kelompok 1.2 redis (pilihan)

• maklumat kelompok

# 进入到redis客户端，集群需要带上-c，有密码需要带上-a
redis-cli -c -a jxbd
# 查看redis集群信息
127.0.0.1:6379> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:3
cluster_my_epoch:1
cluster_stats_messages_ping_sent:7996
cluster_stats_messages_pong_sent:7713
cluster_stats_messages_sent:15709
cluster_stats_messages_ping_received:7710
cluster_stats_messages_pong_received:7996
cluster_stats_messages_meet_received:3
cluster_stats_messages_received:15709

Nota:

Sekarang anda boleh mengakses perkhidmatan Redis daripada mana-mana Pod dalam kluster Terdahulu kami mencipta Perkhidmatan tanpa kepala Kluster kubernetes akan menetapkan rekod DNS kepada perkhidmatan dalam format: $(pod.name).$(headless server.name).${namespace} .svc.cluster.local , setiap kali anda mengakses nama perkhidmatan, anda akan terus memasuki nod redis. svc.cluster.localBoleh ditinggalkan. Contohnya:

redis-cli -c -a jxbd -h redis-0.redis-hs.jxbp -p 6379

• nod kelompok

# 查看redis集群状态
127.0.0.1:6379> cluster nodes
70220b45e978d0cb3df19b07e55d883b49f4127d 10.168.235.238:6379@16379 slave 4367e4a45e557406a3112e7b79f82a44d4ce485e 0 1670306292673 2 connected
122b89a51a9bf005e3d47b6d721c65621d2e9a75 10.168.235.225:6379@16379 slave bcae187137a9b30d7dab8fe0d8ed4a46c6e39638 0 1670306290558 1 connected
c2afcb9e83038a47d04bf328ead8033788548234 10.168.235.198:6379@16379 slave a2cec159bbe2efa11a8f60287b90927bcb214729 0 1670306291162 3 connected
4367e4a45e557406a3112e7b79f82a44d4ce485e 10.168.235.239:6379@16379 master - 0 1670306291561 2 connected 5461-10922
bcae187137a9b30d7dab8fe0d8ed4a46c6e39638 10.168.235.196:6379@16379 myself,master - 0 1670306291000 1 connected 0-5460
a2cec159bbe2efa11a8f60287b90927bcb214729 10.168.235.222:6379@16379 master - 0 1670306292166 3 connected 10923-16383

boleh melihat 3 nod induk dan 3 nod hamba, semuanya dalam status connected.

• dapatkan, tetapkan pengesahan

# 会找到对应的槽进行set操作，去到10.168.235.222节点
set name1 llsydn
-> Redirected to slot [12933] located at 10.168.235.222:6379
OK

# set name1成功
10.168.235.222:6379> set name1 llsydn
OK

# get name1成功
10.168.235.222:6379> get name1
"llsydn"

Nod induk menjalankan operasi set dan nod hamba mereplikasi. Replikasi master-slave

1.3 Mulakan semula pod dan sahkan kluster (pilihan)

# redis-1未重启之前
10.168.235.239:6379> cluster nodes
4367e4a45e557406a3112e7b79f82a44d4ce485e 10.168.235.239:6379@16379 myself,master - 0 1670307319000 2 connected 5461-10922
bcae187137a9b30d7dab8fe0d8ed4a46c6e39638 10.168.235.196:6379@16379 master - 0 1670307319575 1 connected 0-5460
70220b45e978d0cb3df19b07e55d883b49f4127d 10.168.235.238:6379@16379 slave 4367e4a45e557406a3112e7b79f82a44d4ce485e 0 1670307318000 2 connected
122b89a51a9bf005e3d47b6d721c65621d2e9a75 10.168.235.225:6379@16379 slave bcae187137a9b30d7dab8fe0d8ed4a46c6e39638 0 1670307319781 1 connected
c2afcb9e83038a47d04bf328ead8033788548234 10.168.235.198:6379@16379 slave a2cec159bbe2efa11a8f60287b90927bcb214729 0 1670307319071 3 connected
a2cec159bbe2efa11a8f60287b90927bcb214729 10.168.235.222:6379@16379 master - 0 1670307318000 3 connected 10923-16383

# 重启redis-1
kubectl delete pod redis-1 -n jxbp
pod "redis-1" deleted

# redis-1重启之后
10.168.235.239:6379> cluster nodes
4367e4a45e557406a3112e7b79f82a44d4ce485e 10.168.235.239:6379@16379 myself,master - 0 1670307349000 2 connected 5461-10922
bcae187137a9b30d7dab8fe0d8ed4a46c6e39638 10.168.235.196:6379@16379 master - 0 1670307349988 1 connected 0-5460
70220b45e978d0cb3df19b07e55d883b49f4127d 10.168.235.238:6379@16379 slave 4367e4a45e557406a3112e7b79f82a44d4ce485e 0 1670307349000 2 connected
122b89a51a9bf005e3d47b6d721c65621d2e9a75 10.168.235.232:6379@16379 slave bcae187137a9b30d7dab8fe0d8ed4a46c6e39638 0 1670307350089 1 connected
c2afcb9e83038a47d04bf328ead8033788548234 10.168.235.198:6379@16379 slave a2cec159bbe2efa11a8f60287b90927bcb214729 0 1670307350000 3 connected
a2cec159bbe2efa11a8f60287b90927bcb214729 10.168.235.222:6379@16379 master - 0 1670307348000 3 connected 10923-16383

Anda boleh melihat nod redis-1 selepas mulakan semula Walaupun IP telah berubah, kluster redis boleh masih dikenali kepada IP baharu, kluster masih normal.

10.168.235.225 ---> 10.168.235.232

1.4 Cipta Perkhidmatan

Sebelum ini kami mencipta Perkhidmatan Tanpa Kepala untuk melaksanakan StatefulSet, tetapi Perkhidmatan ini tidak mempunyai Clu IP, jadi ia tidak boleh digunakan untuk akses luaran. Oleh itu, kami perlu mencipta Perkhidmatan khusus untuk menyediakan akses dan pengimbangan beban kepada gugusan Redis.

Anda boleh menggunakan ClusterIP, NodePort di sini. Di sini, saya menggunakan NodePort.

vi redis-ss.yaml

---
apiVersion: v1
kind: Service
metadata:
  labels:
    k8s.kuboard.cn/layer: db
    k8s.kuboard.cn/name: redis
  name: redis-ss
  namespace: jxbp
spec:
  ports:
    - name: imdgss
      port: 6379
      protocol: TCP
      targetPort: 6379
      nodePort: 6379
  selector:
    k8s.kuboard.cn/layer: db
    k8s.kuboard.cn/name: redis
  type: NodePort

Buat perkhidmatan bernama: redis-ss.

Dedahkan port 6379 dalam kelompok K8S dan muatkan keseimbangan pod yang labels name ialah k8s.kuboard.cn/name: redis.

Kemudian dalam kluster K8S, anda boleh mengakses kluster redis melalui redis-ss:6379.

kubectl get service -n jxbp

>NAME            TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                                                         AGE
redis-hs        ClusterIP   None            <none>        6379/TCP                                                        76m
redis-ss        NodePort    10.96.54.201    <none>        6379:6379/TCP                                                   2s

Konfigurasi projek Springboot 1.5

spring.redis.cluster.nodes=redis-ss:6379

Analisis soalan berkaitan 1.6

Pada ketika ini, anda mungkin tertanya-tanya, mengapa Pod Redis boleh gagal secara normal tanpa menggunakan stabil bendera? Ini melibatkan mekanisme Redis itu sendiri. Kerana setiap nod dalam kelompok Redis mempunyai NodeId sendiri (disimpan dalam nodes.conf yang dijana secara automatik), dan NodeId tidak akan berubah dengan IP Ini sebenarnya adalah simbol rangkaian tetap. Dalam erti kata lain, walaupun Pod Redis dimulakan semula kerana but semula, Pod masih akan menggunakan NodeId yang disimpan untuk mengekalkan identitinya. Anda boleh melihat fail konfigurasi nod redis-0 nodes.conf melalui NFS

vi /opt/nfs/pv1/nodes.conf
> f6d4993467a4ab1f3fa806f1122edd39f6466394 10.168.235.228:6379@16379 slave ebed24c8fca9ebc16ceaaee0c2bc2e3e09f7b2c0 0 1670316449064 2 connected
ebed24c8fca9ebc16ceaaee0c2bc2e3e09f7b2c0 10.168.235.240:6379@16379 myself,master - 0 1670316450000 2 connected 5461-10922
955e1236652c2fcb11f47c20a43149dcd1f1f92b 10.168.235.255:6379@16379 master - 0 1670316449565 1 connected 0-5460
574c40485bb8f6cfaf8618d482efb06f3e323f88 10.168.235.224:6379@16379 slave 955e1236652c2fcb11f47c20a43149dcd1f1f92b 0 1670316449000 1 connected
91bd3dc859ce51f1ed0e7cbd07b13786297bd05b 10.168.235.237:6379@16379 slave fe0b74c5e461aa22d4d782f891b78ddc4306eed4 0 1670316450672 3 connected
fe0b74c5e461aa22d4d782f891b78ddc4306eed4 10.168.235.253:6379@16379 master - 0 1670316450068 3 connected 10923-16383
vars currentEpoch 3 lastVoteEpoch 0

seperti di atas Lajur pertama ialah NodeId, yang mana lajur kedua ialah maklumat IP dan port, yang mungkin berubah.

Di sini, kami memperkenalkan dua senario penggunaan NodeId:

Apabila Slave Pod diputuskan sambungan dan disambungkan semula, IP berubah, tetapi Master mendapati bahawa NodeIdnya masih sama, jadi ia berpendapat bahawa Hamba masih sama seperti dahulu.

Jika Pod Induk diputuskan sambungan, Hamba lain dalam kluster akan memilih Master baharu. Jika Master lama datang dalam talian dan kluster mendapati bahawa NodeIdnya masih sama, ia akan menjadi nod hamba Master baharu.

Atas ialah kandungan terperinci Bagaimana untuk menggunakan kluster redis dalam k8s. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!