Apache IoTDB: pangkalan data inovatif yang menyelesaikan masalah penyimpanan, pertanyaan dan penggunaan dalam senario IoT industri

Dengan kemunculan era Industri 4.0 dan pengenalan pendigitalan dan automasi, persekitaran pengeluaran menjadi lebih cekap. Pada masa yang sama, orang ramai mula memberi perhatian kepada potensi nilai data besar-besaran yang dibawa oleh peranti pintar, tetapi cara menyimpan data yang dihasilkan oleh peranti pintar dengan cekap dan cara menganalisis data besar-besaran dengan lebih baik telah menjadi masalah. Model pangkalan data tradisional dan kaedah penyimpanan tidak lagi dapat memenuhi keperluan ini. Oleh itu, pangkalan data siri masa muncul mengikut keperluan masa, bertujuan untuk mencapai penyimpanan dan pertanyaan data yang cekap, dan membantu menerokai potensi nilai data dengan lebih baik

Menghadapi situasi ini, Universiti Tsinghua melancarkan pembangunan IoTDB pada 2015. Pada 23 September 2020, Apache IoTDB telah menamatkan pengajian dan menjadi Projek Tahap Teratas Apache pada masa ini merupakan satu-satunya projek peringkat tertinggi Yayasan Apache yang dimulakan oleh universiti China dan juga satu-satunya projek sumber terbuka dalam bidang pengurusan data Internet of Things. di bawah Yayasan Apache. Pada Oktober 2021, pasukan teras Apache IoTDB mengasaskan Teknologi Tianmou dan terus mengendalikan IoTDB untuk membantu pengguna industrimenyelesaikan masalah "menyimpan, menyemak dan menggunakan" data.

Mengenai teknologi teras yang dibangunkan oleh Apache IoTDB, beberapa peserta bekerjasama untuk menerbitkan kertas ulasan, yang menghuraikan reka bentuk IoTDB secara terperinci dan lengkap. Artikel itu mengambil sebuah syarikat perindustrian yang perlu menguruskan puluhan ribu jengkaut sebagai contoh dan menerangkan keperluan: "Data pertama kali dibungkus ke dalam peranti, dan kemudian dihantar ke pelayan melalui rangkaian mudah alih 5G. Dalam pelayan, data ditulis ke dalam pangkalan data siri masa, Untuk pertanyaan OLTP Akhirnya, saintis data boleh memuatkan data daripada pangkalan data ke platform data besar untuk analisis dan ramalan yang kompleks, iaitu tugasan OLAP."

• Alamat kertas: https://dl. acm.org/doi/abs/10.1145/3589775
• Alamat projek: https://github.com/apache/iotdb

termasuk fokus kertas berikut bahagian:

1. Reka bentuk model data: Organisasi siri masa pada tahap logik dan storan dalam mod fizikal; format fail, Pada masa yang sama, ia memenuhi kecekapan penulisan, pertanyaan, dsb.; penyelesaian merujuk kepada mengurai tugas atau masalah Kaedah membahagikan berbilang subtugas kepada berbilang subtugas dan menugaskan subtugas ini kepada berbilang komputer atau nod untuk diproses. Penyelesaian ini meningkatkan kebolehpercayaan sistem, kebolehskalaan dan prestasi. Dengan mengagihkan tugas kepada berbilang komputer, beban pada satu komputer boleh dikurangkan dan keupayaan pemprosesan serentak sistem boleh dipertingkatkan. Pada masa yang sama, penyelesaian yang diedarkan juga boleh meningkatkan toleransi kesalahan sistem melalui sandaran berlebihan dan failover Walaupun nod gagal, sistem masih boleh terus berjalan. Dalam persekitaran data besar dan pengkomputeran awan hari ini, penyelesaian yang diedarkan telah menjadi corak seni bina biasa dan digunakan secara meluas dalam pelbagai bidang, seperti pangkalan data teragih, sistem storan teragih dan platform pengkomputeran teragih, dsb.

Untuk yang berikut kandungan, kami akan memberikan tafsiran yang lebih terperinci tentang bahagian-bahagian utama iniTafsiran terperinci

Memerlukan reka bentuk model data

, kami menggunakan struktur tinggi- Seperti yang ditunjukkan di bawah operasi penulisan intensiti, dan boleh menangani masalah ketibaan data tertangguh biasa dalam senario IoT

Dalam struktur pepohon, setiap nod daun mewakili penderia dan setiap nod daun mewakili penderia Setiap penderia mempunyai peranti yang sepadan. Seperti yang ditunjukkan dalam dua peringkat bawah dalam rajah, perkara yang sama berlaku untuk peringkat atas

(2) Struktur logik telah dijelaskan dalam artikel sebelumnya. Sekarang kita akan melihat pelaksanaan struktur fizikal , yang terutamanya merangkumi siri masa ( Siri masa) dan keluarga jujukan (Keluarga siri). Rajah di bawah menunjukkan bahawa setiap siri masa terdiri daripada dua atribut: masa dan nilai Siri masa terletak melalui laluan lengkap dari nod akar ke nod daun. Gambar di atas menunjukkan konsep gugusan jujukan Sekumpulan jujukan mungkin mengandungi berbilang peranti dan datanya akan disimpan bersama dalam TsFile (struktur fail, yang akan diterangkan kemudian)

Kandungan yang perlu ditulis semula ialah: 2. Reka bentuk format fail TsFile #🎜🎜🎜🎜##🎜 #

TsFile ialah format fail storan kolumnar yang dibangunkan sendiri oleh Apache IoTDB. Strukturnya ditunjukkan dalam rajah di bawah:

Apabila mereka bentuk TsFile, pasukan penyelidik tertumpu pada penyelesaian masalah. :# 🎜🎜#

Jimat ruang dan mampatkan data sebanyak mungkin

• #🎜 kurangkan bilangan #Kurangkan files# 🎜🎜#
• Siri masa yang akan disoal bersama adalah hampir di lokasi fizikal
• #Kurangkan pemecahan cakera 🎜🎜#
akses cekap
• Penyelesaian utama yang disediakan ialah: #🎜 ## 🎜🎜#Storan lajur: menghapuskan nilai nol dan menjimatkan penggunaan cakera

Pengekodan siri masa: kelebihan masa pemandangan IoT Ciri unik jujukan

• Pengekodan domain kekerapan: Analisis domain frekuensi siri masa dilakukan secara meluas dalam pemprosesan isyarat
#🎜🎜 #Analisis struktur khusus: Halaman (Halaman) ialah unit storan asas yang mengandungi berbilang Halaman. berbilang halaman dalam kumpulan. Chunk adalah milik satu atau lebih siri peranti yang ditulis dalam tempoh masa yang sama memori. Penimbalan dilakukan dalam TsFile, dan apabila memori mencapai ambang, semua kumpulan blok dialihkan ke TsFile, indeks (FileIndex) merekodkan maklumat pada akhir fail untuk akses data.
• Kandungan yang perlu ditulis semula ialah: 3. Enjin IoTDB
#🎜 🎜 🎜#
• Dalam bahagian ini, penyelidik memberi tumpuan terutamanya pada ketibaan tertunda, pemprosesan pertanyaan yang cekap dan reka bentuk pertanyaan seperti SQL dalam senario Internet of Things. Struktur enjin IoTDB ditunjukkan dalam rajah di bawah:

Dalam rajah, kita dapat melihat bahawa bahagian enjin storan digunakan terutamanya Digunakan untuk mengendalikan penulisan, membaca dan pengurusan TsFile. Dalam bahagian ini, teknologi pengasingan kelewatan automatik diguna pakai (seperti yang ditunjukkan dalam rajah di bawah)

dalam kebanyakan kes , adalah disyorkan untuk menggunakan pemisahan data tertunda apabila julat masa dalam TsFile tidak bertindih. Walau bagaimanapun, bagi kebanyakan kes di mana data tidak tersusun, pemisahan data malas tidak disyorkan

Kandungan ditulis semula: Satu lagi komponen penting ialah enjin pertanyaan, Ia bertanggungjawab untuk menukar SQL pertanyaan kepada operator yang boleh dilaksanakan dalam pangkalan data. Pada masa yang sama, untuk menyesuaikan diri dengan senario IoT industri, Apache IoTDB juga telah mereka bentuk fungsi pertanyaan data siri masa yang kaya

Kandungan yang memerlukan untuk ditulis semula ialah: 4. Penyelesaian terdesentralisasi

TsFile boleh diedarkan pada HDFS. dan dikendalikan oleh Spark Selain itu, ia menyediakan penyelesaian asli untuk pengendalian pengedaran data dan pemprosesan pertanyaan yang lebih baik, termasuk replikasi partition, replikasi NB-Raft dan konsistensi bacaan dinamik

#🎜 🎜#Hasil perbandingan#🎜🎜 #Dalam kertas kerja, kami membandingkan TsFile dan IoTDB, yang merupakan format fail dan pangkalan data masa yang paling maju yang digunakan secara meluas dalam industri . Melalui rajah berikut, kami menunjukkan kelebihan Apache IoTDB dalam banyak aspek

Dua angka di atas menunjukkan kelebihan TsFile dari segi kemampuan menulis, kos masa baca dan prestasi penyegerakan Ini disebabkan terutamanya oleh reka bentuk struktur menyedari IoT TsFile, yang mengelakkan menyimpan maklumat berlebihan seperti deviceId. Walaupun tiada kelebihan yang jelas dalam penggunaan cakera TsFile, ini kerana indeks yang lebih berbutir dibina, menyebabkan lebih banyak ruang digunakan. Walau bagaimanapun, pengorbanan ini boleh membawa kepada peningkatan masa pertanyaan yang luar biasa, kerana kita dapat melihat kelebihan yang jelas dalam kos masa membaca

Seperti yang dapat dilihat dengan jelas dalam carta di atas, IoTDB mengatasi prestasi dalam hampir semua ujian Mempamerkan prestasi yang lebih baik, termasuk daya pemprosesan yang lebih tinggi dan kependaman tulis yang lebih rendah

Dalam percubaan di atas, kami mendapati bahawa apabila saiz data pertanyaan lebih besar, IoTDB mempamerkan prestasi yang lebih baik. Terutamanya dalam pengagregatan data berskala besar, kelebihan IoTDB amat ketara

Ringkasan

Kertas kerja ini memperkenalkan sistem pengurusan data siri masa baharu yang dipanggil Apache IoTDB, yang menggunakan seni bina terbuka dan direka khas Digunakan untuk menyokong pertanyaan masa nyata dan analisis data besar untuk aplikasi IoT. Sistem ini termasuk format fail siri masa baharu yang dipanggil TsFile, yang menggunakan storan lajur untuk menyimpan masa dan nilai untuk mengelakkan nilai nol dan mencapai pemampatan yang berkesan. Berdasarkan TsFile, enjin IoTDB menggunakan strategi seperti pokok LSM untuk mengendalikan penulisan berintensiti tinggi dan boleh menangani masalah ketibaan data tertangguh biasa dalam senario IoT. Fungsi pertanyaan berskala yang kaya dan maklumat statistik yang diprakira dalam TsFile membolehkan IoTDB mengendalikan tugas OLTP dan OLAP dengan cekap

IoTDB telah menjadi pangkalan data baharu yang dapat mengatasi senario IoT industri dengan lebih baik, yang berdasarkan teknologi di atas Hasil daripada

Atas ialah kandungan terperinci Apache IoTDB: pangkalan data inovatif yang menyelesaikan masalah penyimpanan, pertanyaan dan penggunaan dalam senario IoT industri. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!