Rumah  >  Artikel  >  pangkalan data  >  Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?

Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?

WBOY
WBOYke hadapan
2023-06-01 18:37:281422semak imbas

Carian Produk

Semua orang sepatutnya telah mencari produk di pelbagai tapak web e-dagang Bagaimana anda biasanya mencari produk? Enjin carian Elasticsearch.

Kemudian soalan muncul apabila produk diletakkan di rak, data secara amnya ditulis ke dalam pangkalan data MySQL. Jadi, bagaimanakah data yang digunakan untuk mendapatkan semula disegerakkan ke Elasticsearch?

Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?

Penyegerakan MySQL ES

1 Tulis dua kali segerak

Ini adalah cara paling langsung yang boleh dibayangkan, apabila menulis ke MySQL, Secara langsung dan tulis salinan data secara serentak ke ES.

Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?

Tulisan dwi segerak

Untuk kaedah ini:

Kelebihan: Pelaksanaan yang mudah

Kelemahan:

  • Gandingan perniagaan, menggandingkan sejumlah besar kod penyegerakan data dalam pengurusan produk

  • menjejaskan prestasi, menulis kepada dua storan dan masa tindak balas menjadi lebih lama

  • Menyusahkan untuk dikembangkan: Carian mungkin mempunyai beberapa keperluan yang diperibadikan, yang memerlukan pengagregatan data Kaedah ini menyusahkan untuk dilaksanakan

2

Kami juga mudah memikirkan tulisan berganda tak segerak Apabila menyenaraikan produk, kami mula-mula membuang data produk ke dalam MQ Untuk memahami gandingan, kami biasanya memisahkan perkhidmatan carian dan perkhidmatan carian melanggan berita perubahan produk untuk menyelesaikan penyegerakan.

Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?

Tulisan berganda tak segerak

Seperti yang dinyatakan sebelum ini, apakah yang perlu saya lakukan jika sesetengah data perlu diagregatkan ke dalam struktur yang serupa dengan jadual lebar? Sebagai contoh, kategori produk, spu dan jadual sku pustaka produk dipisahkan, tetapi pertanyaan adalah merentas dimensi Ia akan menjadi kurang cekap untuk mengagregatkannya semula dalam ES Adalah lebih baik untuk mengagregatkan data produk dan menggunakannya dalam ES dengan cara yang sama Ia disimpan dalam bentuk jadual lebar, supaya kecekapan pertanyaan lebih tinggi.

Pertanyaan berbilang dimensi dan berbilang syarat

Sebenarnya tiada cara yang baik untuk melakukan ini Pada asasnya, anda masih perlu mencari perkhidmatan untuk menyemak pangkalan data secara terus, atau memanggilnya dari jauh dan tanya pangkalan data produk sekali lagi, yang dipanggil semakan balik.

Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?

Semak untuk melengkapkan pengagregatan

Cara ini:

Kelebihan:

  • Gandingan Penyelesaian , barangan dan perkhidmatan tidak perlu memberi perhatian kepada penyegerakan data

  • Prestasi masa nyata yang baik, menggunakan MQ, dalam keadaan biasa, penyegerakan selesai dalam beberapa saat

Kelemahan :

  • Memperkenalkan komponen dan perkhidmatan baharu, meningkatkan kerumitan

3 kita mahu Cepat semak, jumlah data tidak begitu besar, apa yang perlu saya lakukan? Tugas berjadual juga tersedia.

Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?Tugas berjadual

Perkara yang paling menyusahkan tentang tugasan berjadual ialah kekerapannya sukar untuk dipilih Jika kekerapannya tinggi, ia akan membentuk perniagaan secara luar biasa puncak, mengakibatkan penggunaan storan CPU dan memori meningkat dalam kemuncak Jika frekuensi rendah, prestasi masa nyata adalah lemah, dan terdapat juga puncak.

Kaedah ini:

Kebaikan: pelaksanaan yang agak mudah

Kelemahan:

    Prestasi masa nyata sukar untuk dijamin
  • Memberi tekanan hebat pada storan
  • 4. Langganan data

Terdapat cara lain, iaitu langganan data yang paling popular.

MySQL mencapai penyegerakan induk-hamba melalui langganan binlog Pelbagai rangka kerja langganan data seperti terusan menggunakan prinsip ini untuk menyamar komponen klien sebagai perpustakaan hamba untuk melaksanakan langganan data.

Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?Penyegerakan master-slave MySQL

Mari kita ambil terusan yang paling banyak digunakan sebagai contoh yang menyokong pelbagai penyesuai melalui

, termasuk ES Selepas penyesuai dimulakan dengan beberapa konfigurasi, ia boleh terus menyegerakkan data MySQL ke ES Proses ini adalah kod sifar.

canal-adapter

Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?data penyegerakan terusan

Walaupun kami mengikut cadangan bos dan menggunakan terusan untuk kerja penyegerakan, kami sebenarnya masih perlu menulis kod. kenapa?

Disebabkan sokongan saluran yang terhad, pengagregatan data berbilang jadual yang dinyatakan di atas masih perlu dilaksanakan melalui semakan. Pada masa ini, adalah tidak sesuai untuk menggunakan penyesuai saluran Anda perlu melaksanakan pelanggan terusan sendiri, memantau dan mengagregat data dan menulis kepada ES:

Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?Langganan data. + ulasan

Ini kelihatan serupa dengan penulisan berganda tak segerak, tetapi pertama sekali ia mengurangkan gandingan produk dan perkhidmatan, dan kedua sifat masa nyata data adalah lebih baik.

Jadi gunakan langganan data:

Kelebihan:

    Kurang pencerobohan perniagaan
  • Lebih masa nyata Baik

Bagi pemilihan rangka kerja langganan data, yang arus perdana secara amnya adalah seperti berikut:


Cancal Maxwell Python-Mysql-Rplication
开源方 阿里巴巴 Zendesk 社区
开发语言 Java Java Python
活跃度 活跃 活跃 活跃
高可用 支持 支持 不支持
客户端 Java/Go/PHP/Python/Rust Python
消息落地 Kafka/RocketMQ 等 Kafka/RabbitNQ/Redis 等 自定义
消息格式 自定义 JSON 自定义
文档详略 详细 详细 详细
Boostrap 不支持 支持 不支持

MySQL menyegerakkan ke stor data lain, seperti HBase, pada asasnya menggunakan kaedah yang serupa Beberapa kaedah.

Atas ialah kandungan terperinci Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan:
Artikel ini dikembalikan pada:yisu.com. Jika ada pelanggaran, sila hubungi admin@php.cn Padam