Pengenalan kepada Apache Storm
Apakah Apache Storm?
Apache Storm ialah sistem pemprosesan data besar masa nyata yang diedarkan. Ribut direka bentuk untuk mengendalikan sejumlah besar data dalam pendekatan bertoleransi kesalahan dan berskala mendatar. Ia ialah rangka kerja data penstriman dengan kadar pengingesan tertinggi. Walaupun Storm tidak berkewarganegaraan, ia menguruskan persekitaran yang diedarkan dan keadaan kluster melalui Apache ZooKeeper. Ia mudah dan anda boleh melakukan pelbagai operasi pada data langsung secara selari.
Apache Storm terus menjadi peneraju dalam analisis data masa nyata. Storm mudah disediakan dan dikendalikan, dan ia menjamin bahawa setiap mesej akan diproses melalui topologi sekurang-kurangnya sekali.
Apache Storm vs Hadoop
Pada asasnya rangka kerja Hadoop dan Storm digunakan untuk menganalisis data besar. Kedua-duanya saling melengkapi dan berbeza dalam beberapa cara. Apache Storm melakukan segala-galanya kecuali kegigihan, manakala Hadoop mahir dalam segala-galanya tetapi ketinggalan di belakang pengiraan masa nyata. Jadual berikut membandingkan sifat Storm dan Hadoop. .
ZooKeep er
penyelarasan. Nod induk dipanggil nimbus dan nod hamba ialah penyelia. | Struktur tuan-hamba dengan/tanpa penyelarasan berasaskan ZooKeeper. Nod induk ialah penjejak pekerjaan | dan nod hamba ialah
penjejak tugas. | | Proses penstriman ribut boleh mengakses puluhan ribu mesej sesaat pada gugusan.
Sistem Fail Teragih Hadoop (HDFS) menggunakan rangka kerja MapReduce untuk memproses sejumlah besar data, mengambil masa beberapa minit atau jam. | | Topologi ribut berjalan sehingga pengguna dimatikan atau kegagalan yang tidak dapat dipulihkan yang tidak dijangka.
Kerja MapReduce dilaksanakan secara berurutan dan akhirnya selesai. . | Jika JobTracker ranap, semua kerja berjalan akan hilang. | Contoh menggunakan Apache Storm
Apache Storm sangat terkenal dengan pemprosesan strim data besar masa nyata. Oleh itu, kebanyakan syarikat menggunakan Storm sebagai sebahagian daripada sistem mereka. Beberapa contoh yang ketara adalah seperti berikut -
Twitter - Twitter menggunakan Apache Storm sebagai "Produk Analitis Penerbit". "Produk Analitis Penerbit" mengendalikan setiap tweet dan klik dalam platform Twitter. Apache Storm disepadukan secara mendalam dengan infrastruktur Twitter.
NaviSite - NaviSite menggunakan Storm untuk sistem pemantauan/pengauditan log peristiwa. Setiap log yang dijana dalam sistem akan melalui Storm. Storm akan menyemak mesej terhadap set ungkapan biasa yang dikonfigurasikan dan jika terdapat padanan maka mesej khusus itu akan disimpan ke pangkalan data.
Wego - Wego ialah enjin carian meta pelancongan yang berpangkalan di Singapura. Data berkaitan perjalanan datang daripada banyak sumber di seluruh dunia dan pada masa yang berbeza. Storm membantu Wego mencari data masa nyata, menyelesaikan isu konkurensi dan mencari padanan terbaik untuk pengguna akhir.
Kelebihan Apache Storm
Berikut ialah senarai faedah yang disediakan oleh Apache Storm:
Storm ialah sumber terbuka, berkuasa dan mesra pengguna. Ia boleh digunakan oleh kedua-dua syarikat kecil dan besar.
Storm tahan terhadap kesalahan, fleksibel, boleh dipercayai dan menyokong mana-mana bahasa pengaturcaraan.
Membenarkan penstriman masa nyata.
Storm sangat pantas kerana ia mempunyai kuasa yang besar untuk memproses data.
Storm boleh mengekalkan prestasi dengan meningkatkan sumber secara linear, walaupun beban meningkat. Ia sangat berskala.
Storm melakukan penyegaran data dan menyampaikan respons hujung ke hujung dalam beberapa saat atau minit bergantung pada masalah. Ia mempunyai kependaman yang sangat rendah.
Storm mempunyai risikan operasi.
Storm menyediakan pemprosesan data yang terjamin walaupun jika sebarang nod yang disambungkan dalam gugusan mati atau mesej hilang.
