Bagaimana untuk merealisasikan pengenalan dan pertukaran data panas dan sejuk dalam Redis

Latar Belakang

Produk storan hibrid Redis ialah produk storan hibrid yang dibangunkan secara bebas oleh Alibaba Cloud yang serasi sepenuhnya dengan protokol dan ciri Redis.

Dengan menyimpan sebahagian daripada data sejuk pada cakera, ia sangat mengurangkan kos pengguna dan menembusi had memori pada volum data contoh tunggal Redis sambil memastikan kebanyakan prestasi akses tidak berkurangan.

Antaranya, pengenalpastian dan pertukaran data panas dan sejuk merupakan faktor utama dalam prestasi produk storan hibrid.

Takrifan data panas dan sejuk

Dalam storan hibrid Redis, nisbah memori dan cakera boleh dipilih secara bebas oleh pengguna:

Kejadian storan Hibrid Redis menganggap semua kunci sebagai data panas, memastikan prestasi semua permintaan akses kunci adalah cekap dan konsisten dengan mengorbankan sejumlah kecil memori. Untuk bahagian Nilai, apabila memori tidak mencukupi, kejadian itu sendiri akan memilih sebahagian daripada nilai berdasarkan masa capaian terkini, kekerapan akses, saiz Nilai dan dimensi lain sebagai data sejuk dan menyimpannya secara tidak segerak pada cakera di latar belakang sehingga memori adalah kurang daripada ambang yang ditetapkan.

Dalam contoh storan hibrid Redis, kami menganggap semua Kekunci sebagai data panas dan menyimpannya dalam ingatan untuk dua pertimbangan berikut:

1. Kekerapan akses kunci jauh lebih tinggi daripada Nilai.

2. Sebagai pangkalan data KV, permintaan akses biasa perlu terlebih dahulu mencari kunci untuk mengesahkan sama ada kunci itu wujud Untuk mengesahkan bahawa kunci tidak wujud, anda perlu menyemak set semua kunci dalam beberapa bentuk. Mengekalkan semua nilai utama untuk struktur data dalam memori boleh memastikan kelajuan carian adalah sama persis dengan struktur data memori tulen.

3. Nisbah saiz kunci sangat rendah.

4. Dalam model perniagaan umum, walaupun ia jenis rentetan biasa, Nilainya biasanya beberapa kali lebih besar daripada Kunci. Untuk objek koleksi seperti Set, Senarai, Hash, dsb., nilai yang terdiri daripada semua ahli yang ditambah bersama adalah beberapa susunan magnitud yang lebih besar daripada kunci.

Oleh itu, terdapat dua senario terpakai utama untuk kejadian storan hibrid Redis:

1. Akses data tidak sekata dan data tempat liputan; >

Memori tidak mencukupi untuk menyimpan semua data, dan Nilainya besar (berbanding dengan Kunci)
Pengenalan data panas dan sejuk

Apabila memori tidak mencukupi, contoh akan mengira berat nilai berdasarkan masa capaian terkini, kekerapan akses, saiz nilai dan dimensi lain, menyimpan nilai dengan berat terendah pada cakera dan memadamkannya daripada memori.

Kod pseudo adalah seperti berikut:

Dalam kes yang paling ideal, kami ingin dapat mengira nilai terendah semasa dengan tepat. Walau bagaimanapun, tahap panas dan sejuk sesuatu nilai berubah secara dinamik mengikut situasi capaian, dan penggunaan masa untuk mengira semula berat panas dan sejuk bagi semua nilai setiap masa adalah tidak boleh diterima sama sekali.

Apabila memori penuh, Redis sendiri akan menghapuskan data mengikut strategi penghapusan yang ditetapkan oleh pengguna, dan menulis data panas dari memori ke cakera juga boleh dianggap sebagai proses "penghapusan". Memandangkan prestasi, ketepatan dan pemahaman pengguna, kami menggunakan kaedah pengiraan anggaran yang serupa dengan Redis apabila mengenal pasti data panas dan sejuk, menyokong pelbagai strategi, mengurangkan penggunaan CPU dan memori dengan mengambil sampel secara rawak sebahagian kecil data, dan menggunakan pensampelan melalui sejarah kumpulan pengusiran maklumat untuk membantu meningkatkan ketepatan.

Rajah skematik kadar pukulan algoritma penghapusan anggaran Redis ditunjukkan di bawah versi berbeza dan bilangan konfigurasi sampel pensampelan yang berbeza. Titik data yang telah dihapuskan berwarna kelabu muda, titik data yang belum dihapuskan adalah kelabu, dan titik data yang ditambah semasa ujian diwarnakan hijau.

Pertukaran data panas dan sejuk

Proses pertukaran data panas dan sejuk storan bercampur Redis selesai di utas IO latar belakang.

Data panas->Data sejuk

Mod tak segerak:

Benang utama menjana data apabila memori ditutup hingga maksimum Satu siri tugas menukar data; Kemas kini utas utama Keluarkan nilai dalam ingatan dan kemas kini nilai dalam kamus data dalam ingatan kepada maklumat meta yang mudah;
1. semasa menulis Jika trafik masuk terlalu besar, kaedah tak segerak tidak boleh menukar data dalam masa, yang boleh menyebabkan memori melebihi spesifikasi maksimum. Benang utama akan secara langsung melaksanakan tugas pertukaran data untuk mencapai tujuan pengehadan semasa dalam penyamaran.

Data sejuk->Data panas

2. Mod tak segerak:

3. Urut utama menilai arahan sebelum melaksanakannya Sama ada semua nilai yang terlibat berada dalam ingatan;

4. Jika tidak, hasilkan tugasan pemuatan data, gantung klien dan urutan utama terus memproses permintaan pelanggan yang lain;

Urutan latar belakang melaksanakan tugas pemuatan data dan memberitahu utas utama selepas selesai

Urut utama mengemas kini nilai dalam kamus data dalam memori dan membangunkan pelanggan yang digantung sebelum ini, memproses permintaannya.

Kaedah penyegerakan:
Dalam skrip Lua, semasa fasa pelaksanaan arahan khusus, jika nilai didapati disimpan pada cakera , utas utama akan melaksanakannya secara langsung Tugas pemuatan data memastikan bahawa semantik skrip dan arahan Lua kekal tidak berubah.

Atas ialah kandungan terperinci Bagaimana untuk merealisasikan pengenalan dan pertukaran data panas dan sejuk dalam Redis. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!