Redis 고가용성 실습

0×01 Kata Pengantar

Redis ialah pangkalan data Nilai Kunci jenis log sumber terbuka yang ditulis dalam bahasa ANSI C, menyokong rangkaian, boleh berasaskan memori dan berterusan serta menyediakan API dalam berbilang bahasa.

Kini, data perniagaan Internet berkembang pada kadar yang lebih pantas, dan jenis data menjadi semakin banyak, yang mengemukakan keperluan yang lebih tinggi untuk kelajuan dan keupayaan pemprosesan data. Redis ialah pangkalan data bukan perkaitan dalam ingatan sumber terbuka yang membawa pengalaman yang mengganggu kepada pembangun. Direka dari awal hingga akhir dengan mengambil kira prestasi tinggi, Redis ialah pangkalan data NoSQL terpantas yang tersedia hari ini.

Sambil mempertimbangkan prestasi tinggi, ketersediaan tinggi juga merupakan pertimbangan penting. Internet menyediakan perkhidmatan tanpa gangguan 7×24 dan Failover pada kelajuan terpantas semasa kegagalan, yang boleh membawa kerugian minimum kepada perusahaan.

Jadi, apakah seni bina ketersediaan tinggi dalam aplikasi praktikal? Apakah kebaikan dan keburukan antara seni bina? Bagaimana kita harus memilih? Apakah beberapa amalan terbaik?

0×02 Prinsip Sentinel

Sebelum menerangkan penyelesaian ketersediaan tinggi Redis, mari kita lihat dahulu prinsip Redis Sentinel.

1. Kluster Sentinel menemui induk melalui fail konfigurasi yang diberikan dan memantau induk apabila ia bermula. Dapatkan semua pelayan hamba di bawah pelayan ini dengan menghantar maklumat maklumat kepada tuan.
2. Kluster Sentinel menghantar maklumat helo (sekali sesaat) kepada pelayan induk dan hamba yang dipantau melalui sambungan arahan Maklumat ini termasuk IP, port, id, dsb. Sentinel sendiri, untuk mengumumkan kewujudannya kepada Sentinel lain.
3. Kluster Sentinel menerima maklumat helo yang dihantar oleh Sentinel lain melalui sambungan langganan untuk menemui Sentinel lain yang memantau pelayan induk yang sama akan membuat sambungan arahan antara satu sama lain untuk komunikasi, kerana sudah ada pelayan tuan-hamba yang menghantar dan menerima helo Tiada langganan; sambungan dibuat antara Sentinel dan Sentinel.
4. Kluster Sentinel menggunakan perintah ping untuk mengesan status tika itu Jika tiada balasan dalam masa yang ditentukan (turun selepas milisaat) atau balasan yang salah dikembalikan, tika itu dinilai sebagai di luar talian.
5. Apabila suis failover aktif/siap sedia dicetuskan, failover tidak akan meneruskan serta-merta Ia juga memerlukan kebenaran majoriti Sentinel dalam Sentinel sebelum failover boleh dijalankan, iaitu, Sentinel yang melakukan failover akan dapatkan kebenaran kuorum Sentinels yang ditetapkan Selepas berjaya, Masukkan keadaan ODOWN. Sebagai contoh, jika 2 korum dikonfigurasikan antara 5 Penjaga, failover akan dilaksanakan apabila 2 Penjaga menganggap bahawa tuan sudah mati.
6. Sentinel menghantar arahan SLAVEOF NO ONE kepada hamba yang dipilih sebagai tuan. Jika keutamaan adalah sama, semak subskrip replikasi, mana-mana yang menerima lebih banyak data replikasi daripada induk akan diletakkan pada kedudukan pertama. Jika keutamaan dan indeks adalah sama, yang mempunyai ID proses yang lebih kecil akan dipilih.
7. Selepas Sentinel diberi kuasa, ia akan memperoleh nombor versi konfigurasi terkini (zaman konfigurasi) induk yang gagal Apabila pelaksanaan failover selesai, nombor versi ini akan digunakan untuk konfigurasi terkini dan memberitahu orang lain melalui siaran Sentinel, Sentinel lain. kemas kini konfigurasi induk yang sepadan.

1 hingga 3 ialah mekanisme penemuan automatik:

• Hantar arahan info kepada induk yang dipantau setiap 10 saat dan dapatkan maklumat induk semasa berdasarkan balasan.
• Hantar arahan PING ke semua pelayan redis, termasuk Sentinel, pada kekerapan 1 saat dan tentukan sama ada pelayan dalam talian melalui balasan.
• Hantar mesej maklumat induk Sentinel semasa kepada semua pelayan induk dan hamba yang dipantau pada kekerapan 2 saat.

4 ialah mekanisme pengesanan, 5 dan 6 ialah mekanisme failover, dan 7 ialah mekanisme konfigurasi kemas kini. [1]

0×03 Redis seni bina ketersediaan tinggi

Selepas menerangkan prinsip Redis Sentinel, mari terangkan Seni bina ketersediaan tinggi Redis yang biasa digunakan.

• Kluster Redis Sentinel + DNS intranet + skrip tersuai
• Kluster Redis Sentinel + VIP + Skrip Tersuai
• Enkapsulasi klien untuk menyambung terus ke port Redis Sentinel
  • JedisSentinelPool, sesuai untuk Java
  • PHP dibungkus sendiri berdasarkan phpredis
• Kluster Redis Sentinel + Keepalived/Haproxy
• Redis M/S + Keepalived
• Kluster Redis
• Twemproxy
• Codis

Berikut akan diterangkan satu persatu dengan gambar dan teks.

3.1 Kluster Sentinel Redis + DNS Intranet + Skrip Tersuai

Gambar di atas adalah penyelesaian yang telah diaplikasikan dalam persekitaran dalam talian. Lapisan bawah ialah gugusan Redis Sentinel, yang bertindak sebagai ejen untuk induk dan hamba Redis Bahagian Web menyambung ke DNS intranet untuk menyediakan perkhidmatan. DNS Intranet diperuntukkan mengikut peraturan tertentu, seperti xxxx.redis.cache/queue.port.xxx.xxx Segmen pertama menunjukkan singkatan perniagaan, segmen kedua menunjukkan bahawa ini ialah nama domain intranet Redis dan. segmen ketiga Mewakili jenis Redis, cache mewakili cache, baris gilir mewakili baris gilir, segmen keempat mewakili port Redis, dan segmen kelima dan keenam mewakili nama domain utama intranet.

Apabila nod induk gagal, seperti kegagalan mesin, kegagalan nod Redis atau kebolehcapaian rangkaian, kelompok Sentinel akan memanggil skrip terkonfigurasi client-reconfig-script untuk mengubah suai nama domain intranet port yang sepadan. Nama domain intranet port yang sepadan menghala ke nod induk Redis baharu.

Kelebihan:

• Pensuisan peringkat kedua, selesaikan keseluruhan operasi pensuisan dalam masa 10s
• Penyesuaian skrip dan seni bina boleh dikawal
• Telus kepada aplikasi, bahagian hadapan tidak perlu risau tentang perubahan di bahagian belakang

Keburukan:

• Kos penyelenggaraan adalah tinggi sedikit Adalah disyorkan untuk melabur dalam lebih daripada 3 mesin untuk kelompok Redis Sentinel
• Bergantung pada DNS, terdapat kelewatan resolusi
• Perkhidmatan mod Sentinel tidak akan tersedia untuk tempoh masa yang singkat
• Penyelesaian ini tidak boleh digunakan jika perkhidmatan itu diakses melalui rangkaian luaran

3.2 Redis Sentinel Cluster + VIP + Skrip Tersuai

Pelan ini sedikit berbeza daripada yang sebelumnya. Penyelesaian pertama menggunakan DNS intranet, dan penyelesaian kedua menggantikan DNS intranet dengan IP maya. Lapisan bawah ialah kelompok Redis Sentinel, yang bertindak sebagai ejen untuk tuan dan hamba Redis, dan bahagian Web menyediakan perkhidmatan melalui VIP. Apabila menggunakan Redis master-slave, anda perlu mengikat IP maya ke nod induk Redis semasa. Apabila nod induk gagal, seperti kegagalan mesin, kegagalan nod Redis atau kebolehcapaian rangkaian, gugusan Sentinel akan memanggil skrip yang dikonfigurasikan oleh client-reconfig-script untuk mengapungkan VIP ke nod induk baharu.

Kelebihan:

• Pensuisan peringkat kedua, selesaikan keseluruhan operasi pensuisan dalam masa 5s
• Penyesuaian skrip dan seni bina boleh dikawal
• Telus kepada aplikasi, bahagian hadapan tidak perlu risau tentang perubahan di bahagian belakang

Keburukan:

• Kos penyelenggaraan adalah tinggi sedikit Adalah disyorkan untuk melabur dalam lebih daripada 3 mesin untuk kelompok Redis Sentinel
• Menggunakan VIP meningkatkan kos penyelenggaraan dan risiko IP huru-hara
• Perkhidmatan mod Sentinel tidak akan tersedia untuk tempoh masa yang singkat

3.3 Bungkus pelanggan untuk menyambung terus ke port Redis Sentinel

일부 기업에서는 외부 네트워크를 통해서만 Redis에 액세스할 수 있습니다. 위의 두 가지 솔루션 중 어느 것도 사용할 수 없으므로 이 솔루션이 파생되었습니다. 웹은 클라이언트를 사용하여 Redis Sentinel 클러스터 중 하나에 있는 시스템의 특정 포트에 연결한 후 이 포트를 통해 현재 마스터 노드를 얻은 다음 실제 Redis 마스터 노드에 연결하여 해당 세일즈맨 작업을 수행합니다. Redis Sentinel 포트와 Redis 마스터 노드 모두 개방형 액세스가 필요하다는 점에 유의하는 것이 중요합니다. 프론트엔드 업무가 Java를 사용한다면 JedisSentinelPool을 재사용할 수 있고, 프론트엔드 업무가 PHP를 사용한다면 phpredis를 기반으로 2차 캡슐화가 가능합니다.

장점:

• 시간에 따른 서비스 감지 실패
• DBA 낮은 유지 관리 비용

단점:

• 클라이언트 지원에 따라 다름 Sentinel
• Sentinel 서버 및 Redis 노드에는 공개 액세스가 필요합니다
• 애플리케이션에 방해가 됨

3.4 Redis Sentinel 클러스터 + Keepalived/Haproxy

하위 레이어는 Redis 마스터와 슬레이브의 에이전트 역할을 하는 Redis Sentinel 클러스터이며, 웹 측은 VIP를 통해 서비스를 제공합니다. 머신 장애, Redis 노드 장애, 네트워크 연결 불가 등 마스터 노드 장애 시 Redis Sentinel의 내부 메커니즘에 의해 Redis 간 전환이 보장되고, Keepalived에 의해 VIP 전환이 보장됩니다.

장점:

• 2단계 전환
• 애플리케이션에 투명함

단점:

• 높은 유지관리비
• 분할뇌가 있습니다
• 센티넬 모드 서비스가 잠시 중단됩니다

3.5 Redis M/S + Keepalived

이 솔루션은 Redis Sentinel을 사용하지 않습니다. 이 솔루션은 기본 마스터-슬레이브를 사용하며 Keepalived를 통해 VIP 전환이 보장됩니다. Redis 마스터-슬레이브 간 전환에는 사용자 지정 스크립트가 필요합니다.

장점:

• 2단계 전환
• 애플리케이션에 투명함
• 간단한 배포 및 낮은 유지 관리 비용

단점:

• 전환 기능을 구현하려면 스크립트가 필요합니다
• 분할뇌가 있습니다

3.6 Redis 클러스터

출처: http://intro2libsys.com/focused-redis-topics/day-one/intro-redis-cluster

Redis 3.0.0은 2년여 전인 2015년 4월 2일에 공식 출시되었습니다. Redis 클러스터는 P2P 모드를 채택하고 중앙 집중화되지 않습니다. 키를 16384개의 슬롯으로 나누고 각 인스턴스가 슬롯의 일부를 담당합니다. 클라이언트는 해당 데이터를 요청합니다. 인스턴스 슬롯에 해당 데이터가 없으면 해당 인스턴스로 인스턴스가 전달됩니다. 또한 Redis 클러스터는 Gossip 프로토콜을 통해 노드 정보를 동기화합니다.

장점:

• 구성 요소가 일체형으로 구성되어 배포가 간단하고 시스템 리소스가 절약됩니다
• 프록시 모드보다 성능이 더 좋습니다
• 자동 장애 조치, 슬롯 마이그레이션 중에 데이터 사용 가능
• 공식 기본 클러스터 솔루션, 업데이트 및 지원 보장

단점:

• 아키텍처는 비교적 새롭고 모범 사례가 거의 없습니다
• 제한적인 멀티키 조작 지원(운전자가 나라를 살릴 수 있다)
• 성능 향상을 위해 클라이언트는 라우팅 테이블 정보를 캐시해야 합니다
• 노드 검색 및 리샤딩 작업이 충분히 자동화되지 않았습니다

3.7 트웸프록시

출처: http://engineering.bloomreach.com/the-evolution-of-fault-tolerant-redis-cluster

다중 동형 Twemproxy(동일 구성)는 동시에 작동하며 클라이언트 요청을 수락하고 해시 알고리즘에 따라 해당 Redis로 전달합니다.

Twemproxy 솔루션은 비교적 성숙한 솔루션입니다. 저희 팀에서는 이 솔루션을 오랫동안 사용해왔지만 효과가 그다지 만족스럽지 않습니다. 한편으로는 위치 지정 문제가 더 어렵고, 다른 한편으로는 노드 자동 제거에 대한 지원이 그리 우호적이지 않습니다.

장점:

• 개발이 쉽고 애플리케이션이 거의 투명합니다
• 오랜 역사와 성숙한 솔루션

단점:

• 프록시는 성능에 영향을 미칩니다
• LVS와 Twemproxy에는 노드 성능 병목 현상이 발생합니다
• Redis 확장은 매우 번거롭습니다
• 트위터는 내부적으로 이 솔루션의 사용을 포기했으며 새로운 아키텍처는 오픈 소스가 아닙니다

3.8 코디

출처: https://github.com/CodisLabs/codis

Codis는 Wandoujia의 오픈 소스 제품이며 그 중 ZooKeeper는 라우팅 테이블과 프록시 노드 메타데이터를 저장하고 Codis-Config 명령을 배포합니다. Codis-Config는 사용 가능한 웹 인터페이스가 있는 통합 관리 도구입니다. 프록시는 Redis 프로토콜과 호환되는 상태 비저장 프록시입니다. Codis-Redis는 Redis 2.8 버전을 기반으로 한 보조 개발로, 데이터 마이그레이션을 용이하게 하기 위해 슬롯 지원을 추가합니다.

장점:

• 개발이 쉽고 애플리케이션이 거의 투명합니다
• 성능은 Twemproxy보다 우수합니다
• 그래픽 인터페이스, 쉬운 확장, 편리한 작동 및 유지 관리

단점:

• 프록시는 여전히 성능에 영향을 미칩니다
• 부품이 너무 많아 많은 기계 자원이 필요함
• Redis 코드가 수정되어 공식 동기화가 불가능하고, 새로운 기능의 후속 조치가 느립니다
• 개발팀에서는 Redis 변환을 기반으로 reborndb 홍보를 준비 중입니다

0×04 모범 사례

소위 모범 사례는 특정 시나리오에 가장 적합한 사례입니다.

저희는 주로 다음 플랜을 추천합니다:

• Redis Sentinel 클러스터 + 인트라넷 DNS + 사용자 정의 스크립트
• Redis Sentinel 클러스터 + VIP + 사용자 정의 스크립트

실제 전투 중 모범 사례를 요약하면 다음과 같습니다.

• Redis Sentinel 클러스터는 5대 이상의 머신을 사용하는 것이 좋습니다
• 다양한 대기업은 Redis Sentinel 클러스터를 사용하여 해당 기업의 모든 포트를 프록시할 수 있습니다
• 비즈니스에 따라 Redis 포트 범위를 나눕니다
• 손쉬운 확장을 위해 사용자 정의 스크립트를 Python으로 구현하는 것이 좋습니다
• 현재 Sentinel 역할을 결정하려면 사용자 정의 스크립트에 주의를 기울여야 합니다
• 사용자 정의 스크립트의 매개변수를 전달합니다:
• 사용자 정의 스크립트를 사용하려면 원격 SSH가 필요합니다. SSH 연결을 반복적으로 설정하고 시간을 소비하지 않으려면 paramiko 라이브러리를 사용하는 것이 좋습니다.
SSH 연결을 가속화하려면 다음 두 매개변수를 끄는 것이 좋습니다
• DNS 사용 안함
  GSSAPI인증번호
WeChat이나 이메일을 통해 알림을 받은 경우, 주요 프로세스가 차단되지 않도록 프로세스를 포크하는 것이 좋습니다
자동 전환 및 장애 조치, 모든 작업이 15초 이내에 완료되는 것이 좋습니다

0×05 요약

이번 이벤트에서는 Redis 고가용성의 필요성, Sentinel 원칙, Redis 고가용성의 공통 아키텍처 및 실제 전투 프로세스를 요약한 모범 사례를 공유했습니다. 후속 커뮤니케이션이 필요한 경우 독자에게 도움이 되기를 바랍니다. 저를 WeChat(

Wentasy)에 추가하시거나 dbarobinwen@gmail.com으로 이메일을 보내주세요.

첨부된 PPT 다운로드: https://github.com/dbarobin/slides

비디오 재생: Redis 고가용성 아키텍처 모범 사례

0×06 감사합니다

꼼꼼한 준비를 해주신 팅윤님과 운영관리팀, 그리고 폭우에도 불구하고 행사에 참여해주신 모든 분들께 감사드립니다. 이 공유는 IT 전문가가 녹화했으며 기술 지원을 해주신 IT 전문가에게 감사의 말씀을 전하고 싶습니다.

0×07 참고

[1] jyzhou(2016-06-12). Redis 복제, Sentinel 구성 및 원리 설명은 http://www.cnblogs.com/zhoujinyi/p/5570024.html에서 가져왔습니다.

위 내용은 Redis 고가용성 실습의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!