Rumah > Artikel > pangkalan data > Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?
Carian Produk
Semua orang sepatutnya telah mencari produk di pelbagai tapak web e-dagang Bagaimana anda biasanya mencari produk? Enjin carian Elasticsearch.
Kemudian soalan muncul apabila produk diletakkan di rak, data secara amnya ditulis ke dalam pangkalan data MySQL. Jadi, bagaimanakah data yang digunakan untuk mendapatkan semula disegerakkan ke Elasticsearch?
Penyegerakan MySQL ES
Ini adalah cara paling langsung yang boleh dibayangkan, apabila menulis ke MySQL, Secara langsung dan tulis salinan data secara serentak ke ES.
Tulisan dwi segerak
Untuk kaedah ini:
Kelebihan: Pelaksanaan yang mudah
Kelemahan:
Gandingan perniagaan, menggandingkan sejumlah besar kod penyegerakan data dalam pengurusan produk
menjejaskan prestasi, menulis kepada dua storan dan masa tindak balas menjadi lebih lama
Menyusahkan untuk dikembangkan: Carian mungkin mempunyai beberapa keperluan yang diperibadikan, yang memerlukan pengagregatan data Kaedah ini menyusahkan untuk dilaksanakan
Kami juga mudah memikirkan tulisan berganda tak segerak Apabila menyenaraikan produk, kami mula-mula membuang data produk ke dalam MQ Untuk memahami gandingan, kami biasanya memisahkan perkhidmatan carian dan perkhidmatan carian melanggan berita perubahan produk untuk menyelesaikan penyegerakan.
Tulisan berganda tak segerak
Seperti yang dinyatakan sebelum ini, apakah yang perlu saya lakukan jika sesetengah data perlu diagregatkan ke dalam struktur yang serupa dengan jadual lebar? Sebagai contoh, kategori produk, spu dan jadual sku pustaka produk dipisahkan, tetapi pertanyaan adalah merentas dimensi Ia akan menjadi kurang cekap untuk mengagregatkannya semula dalam ES Adalah lebih baik untuk mengagregatkan data produk dan menggunakannya dalam ES dengan cara yang sama Ia disimpan dalam bentuk jadual lebar, supaya kecekapan pertanyaan lebih tinggi.
Pertanyaan berbilang dimensi dan berbilang syarat
Sebenarnya tiada cara yang baik untuk melakukan ini Pada asasnya, anda masih perlu mencari perkhidmatan untuk menyemak pangkalan data secara terus, atau memanggilnya dari jauh dan tanya pangkalan data produk sekali lagi, yang dipanggil semakan balik.
Semak untuk melengkapkan pengagregatan
Cara ini:
Kelebihan:
Gandingan Penyelesaian , barangan dan perkhidmatan tidak perlu memberi perhatian kepada penyegerakan data
Prestasi masa nyata yang baik, menggunakan MQ, dalam keadaan biasa, penyegerakan selesai dalam beberapa saat
Kelemahan :
Memperkenalkan komponen dan perkhidmatan baharu, meningkatkan kerumitan
Tugas berjadual
Perkara yang paling menyusahkan tentang tugasan berjadual ialah kekerapannya sukar untuk dipilih Jika kekerapannya tinggi, ia akan membentuk perniagaan secara luar biasa puncak, mengakibatkan penggunaan storan CPU dan memori meningkat dalam kemuncak Jika frekuensi rendah, prestasi masa nyata adalah lemah, dan terdapat juga puncak.
Kaedah ini:
Kebaikan: pelaksanaan yang agak mudah
Kelemahan:
MySQL mencapai penyegerakan induk-hamba melalui langganan binlog Pelbagai rangka kerja langganan data seperti terusan menggunakan prinsip ini untuk menyamar komponen klien sebagai perpustakaan hamba untuk melaksanakan langganan data.
Penyegerakan master-slave MySQL
Mari kita ambil terusan yang paling banyak digunakan sebagai contoh yang menyokong pelbagai penyesuai melalui
, termasuk ES Selepas penyesuai dimulakan dengan beberapa konfigurasi, ia boleh terus menyegerakkan data MySQL ke ES Proses ini adalah kod sifar.canal-adapter
data penyegerakan terusan
Walaupun kami mengikut cadangan bos dan menggunakan terusan untuk kerja penyegerakan, kami sebenarnya masih perlu menulis kod. kenapa?
Disebabkan sokongan saluran yang terhad, pengagregatan data berbilang jadual yang dinyatakan di atas masih perlu dilaksanakan melalui semakan. Pada masa ini, adalah tidak sesuai untuk menggunakan penyesuai saluran Anda perlu melaksanakan pelanggan terusan sendiri, memantau dan mengagregat data dan menulis kepada ES:
Langganan data. + ulasan
Ini kelihatan serupa dengan penulisan berganda tak segerak, tetapi pertama sekali ia mengurangkan gandingan produk dan perkhidmatan, dan kedua sifat masa nyata data adalah lebih baik.
Jadi gunakan langganan data:
Kelebihan:
Bagi pemilihan rangka kerja langganan data, yang arus perdana secara amnya adalah seperti berikut:
Cancal | Maxwell | Python-Mysql-Rplication | |
---|---|---|---|
开源方 | 阿里巴巴 | Zendesk | 社区 |
开发语言 | Java | Java | Python |
活跃度 | 活跃 | 活跃 | 活跃 |
高可用 | 支持 | 支持 | 不支持 |
客户端 | Java/Go/PHP/Python/Rust | 无 | Python |
消息落地 | Kafka/RocketMQ 等 | Kafka/RabbitNQ/Redis 等 | 自定义 |
消息格式 | 自定义 | JSON | 自定义 |
文档详略 | 详细 | 详细 | 详细 |
Boostrap | 不支持 | 支持 | 不支持 |
MySQL menyegerakkan ke stor data lain, seperti HBase, pada asasnya menggunakan kaedah yang serupa Beberapa kaedah.
Atas ialah kandungan terperinci Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!