Bagaimana untuk menyelesaikan masalah Big Key dalam Redis

1. Apakah Kunci Besar?

Dalam istilah mudah, Kunci Besar bermaksud nilai yang sepadan dengan kunci tertentu adalah sangat besar dan mengambil banyak ruang redis masalah nilai besar. Kunci selalunya boleh ditetapkan oleh program itu sendiri, dan nilai selalunya tidak dikawal oleh program, jadi nilainya mungkin sangat besar.

Nilai yang sepadan dengan Big Keys ini dalam redis adalah sangat besar dan mengambil banyak masa dalam proses bersiri/deserialisasi Oleh itu, apabila kami mengendalikan Big Key, ia biasanya memakan masa, yang mungkin membawa kepada blok Redis, dengan itu mengurangkan prestasi redis.

Gunakan beberapa contoh praktikal untuk menerangkan ciri kekunci besar:

● Jenis Kunci Rentetan, nilainya ialah 5MB (data terlalu besar

●). Kunci jenis Senarai, bilangan senarainya ialah 20,000 (bilangan senarai terlalu banyak); banyak);

● A Key in Hash format hanya mempunyai 1000 ahli tetapi jumlah saiz nilai ahli ini ialah 100MB (saiz ahli terlalu besar); Dalam perniagaan sebenar Antaranya, penentuan kunci besar masih perlu dinilai secara menyeluruh berdasarkan senario penggunaan sebenar dan senario perniagaan Redis. Ia biasanya dinilai oleh saiz data dan bilangan ahli.

2. Adegan di mana Big Key berlaku?

1. Penggunaan struktur data redis yang tidak betul

Menggunakan Redis dalam senario yang tidak sesuai dengan keupayaannya akan menyebabkan nilai Kunci menjadi terlalu besar, seperti seperti menggunakan jenis String Key menyimpan data fail binari volum besar.

2 Kegagalan membersihkan data sampah dalam masa

Disebabkan kegagalan membersihkan data tidak sah dengan kerap, bilangan ahli dalam kunci jenis HASH terus meningkat. . Nilai akan berkembang tidak terhingga kerana ia hanya akan terus menerima data tanpa sebarang mekanisme pemadaman.

3. Anggaran perniagaan yang tidak tepat

Pertimbangan yang tidak mencukupi dalam perancangan dan reka bentuk sebelum pelancaran perniagaan tidak berpecah secara munasabah, mengakibatkan perbezaan dalam Kunci individu ramai ahli.

4 Senarai peminat selebriti dan selebriti Internet, dan senarai komen berita hangat tertentu

Andaikan kami menggunakan struktur data Senarai untuk menyelamatkan peminat sesuatu selebriti tertentu/selebriti Internet , atau simpan senarai ulasan berita hangat Oleh kerana bilangan peminat adalah ramai, berita hangat akan mempunyai banyak kadar klik lalu dan komen, jadi terdapat banyak elemen yang disimpan dalam koleksi Senarai. , yang boleh menyebabkan nilai menjadi terlalu besar, mengakibatkan masalah Kunci Besar.

3. Apakah bahaya Big Key?

1. Permintaan menyekat

Nilai yang sepadan dengan Big Key adalah lebih besar apabila kita membaca dan menulisnya, ia mengambil masa yang lama, yang mungkin menyebabkan penyekatan pemprosesan permintaan. Benang teras Redis adalah berbenang tunggal, yang bermaksud bahawa semua permintaan akan diproses secara bersiri Jika permintaan sebelumnya tidak diselesaikan, permintaan berikutnya tidak akan diproses.

2. Peningkatan ingatan

Memori yang digunakan untuk membaca Kunci Besar akan meningkat berbanding dengan Kunci biasa Jika ia terus meningkat, ia boleh menyebabkan OOM (memori limpahan), atau mencapai nilai tetapan maksimum memori maksimum redis, menyebabkan sekatan tulis atau Kunci penting diusir.

3. Menyekat rangkaian

Apabila membaca nilai tunggal yang besar, ia akan menduduki lebih lebar jalur kad rangkaian pelayan, memperlahankan sendiri dan mungkin menjejaskan pelayan lain pada contoh atau aplikasi Redis.

4 Kesan pada penyegerakan induk-hamba dan penukaran induk-hamba

Memadamkan Kunci yang besar akan menyebabkan perpustakaan utama disekat untuk masa yang lama dan menyebabkan penyegerakan gangguan atau pertukaran tuan-hamba.

4. Bagaimana untuk mengenal pasti Kunci Besar?

1 Gunakan pengenalan arahan yang disertakan dengan redis

Sebagai contoh, anda boleh menggunakan klien Redis rasmi redis-cli ditambah parameter --bigkeys untuk mencari contoh 5 Kunci terbesar jenis data (String, cincang, senarai, set, zset).

Kelebihannya ialah ia boleh diimbas dalam talian tanpa menyekat perkhidmatan;

2. Gunakan perintah kunci objek nyahpepijat

untuk menganalisis Kunci mengikut objek masuk (nama Kunci) dan mengembalikan sejumlah besar data, di mana nilai panjang bersiri ialah Panjang bersiri Kunci Perlu diingat bahawa panjang bersiri Kunci tidak sama dengan panjang sebenar dalam ruang ingatan Selain itu, objek nyahpepijat adalah perintah penyahpepijatan untuk dijalankan, dan apabila ia berjalan, masukkan Permintaan yang selebihnya kepada Redis akan disekat sehingga ia selesai. Dan hanya maklumat satu kunci boleh ditemui pada satu masa, jadi ia tidak disyorkan secara rasmi.

3. alat sumber terbuka redis-rdb-tools

Kaedah ini untuk melaksanakan bgsave pada contoh redis akan mencetuskan sandaran syot kilat redis dan menjana rdb kegigihan, dan kemudian menganalisis fail rdb yang dibuang untuk mencari kunci besar di dalamnya.

Kelebihannya ialah maklumat utama yang diperoleh adalah terperinci, terdapat banyak parameter pilihan, dan ia menyokong keperluan tersuai Maklumat hasil boleh dipilih dalam format json atau csv, dan pemprosesan berikutnya adalah mudah bahawa ia memerlukan operasi luar talian dan mengambil masa yang lama untuk mendapatkan hasilnya. 5. Bagaimana untuk menyelesaikan masalah Big Key?

Untuk menyelesaikan masalah Kunci Besar, ia tidak lebih daripada mengurangkan saiz nilai yang sepadan dengan kunci, iaitu, untuk struktur data String, mengurangkan panjang rentetan yang disimpan untuk Senarai, Struktur data Hash, Set dan ZSet Ia adalah untuk mengurangkan bilangan elemen dalam koleksi.

1. Pisahkan Kunci besar

Pisah Kunci Besar kepada berbilang Kekunci kecil seperti nilai kunci, dan pastikan bilangan atau saiz setiap kunci berada dalam julat yang munasabah, dan kemudian simpannya, dengan mendapatkan kunci yang berbeza atau menggunakan mget untuk mendapatkannya secara berkelompok .

2. Bersihkan kunci besar

Bersihkan kunci besar dalam Redis dan padamkan data sedemikian daripada Redis. Redis telah menyediakan arahan UNLINK sejak 4.0, yang boleh membersihkan kunci masuk secara perlahan-lahan tanpa menyekat Melalui UNLINK, anda boleh memadamkan kunci besar atau lebih besar dengan selamat.

3 Pantau memori Redis, lebar jalur rangkaian, tamat masa dan penunjuk lain

Ingatkan kami bahawa mungkin terdapat masalah besar pada masa ini dengan memantau sistem dan menetapkan Redis yang munasabah ambang penggera memori sedang dijana, seperti: Penggunaan memori Redis melebihi 70%, kadar pertumbuhan memori Redis melebihi 20% dalam masa 1 jam, dsb.

4 Bersihkan data tidak sah secara kerap

Pengumpulan sejumlah besar data tidak sah akan berlaku Jika Kunci tertentu telah menulis sejumlah besar data secara berperingkat. tetapi mengabaikannya Ketepatan masa data. Data tidak sah boleh dibersihkan melalui tugas yang dijadualkan.

5. Nilai mampat

Gunakan algoritma bersiri dan mampatan untuk mengawal saiz kekunci, tetapi perlu diingatkan bahawa kedua-dua bersiri dan penyahsirian akan menyebabkan penggunaan prestasi tertentu . Jika nilai masih sangat besar selepas pemampatan, anda boleh mempertimbangkan untuk memisahkan kekunci dengan lebih lanjut.

Pengetahuan tambahan: reka bentuk kunci

(1) [Cadangan]: Kebolehbacaan dan kebolehurusan

Awalan dengan nama perniagaan (atau nama pangkalan data) (untuk mengelakkan kunci konflik), dipisahkan dengan titik bertindih, seperti nama perniagaan: nama jadual: id
o2o:order:1

(2) [Cadangan]: Kesederhanaan

Kawal panjang kekunci sambil memastikan semantik Apabila terdapat banyak kekunci, penggunaan memori tidak boleh diabaikan. m:{mid}

(3) [Wajib]: Jangan sertakan aksara khas

Contoh balas: sertakan ruang, baris baharu, petikan tunggal dan berganda dan lain-lain watak melarikan diri

Atas ialah kandungan terperinci Bagaimana untuk menyelesaikan masalah Big Key dalam Redis. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!