Peranan dan fungsi tiga komponen teras hadoop

Tiga komponen teras ekosistem Hadoop ialah: HDFS (sistem fail yang boleh dipercayai dan berskala, digunakan untuk menyimpan dan mengurus data besar-besaran MapReduce (rangka kerja pengkomputeran teragih, digunakan untuk memproses set data besar-besaran, bertanggungjawab); untuk mengurus dan menjadualkan sumber dalam kelompok Hadoop).

Peranan dan fungsi tiga komponen teras Hadoop

Hadoop Distributed File System (HDFS), MapReduce dan YARN ialah tiga komponen teras dalam ekosistem Hadoop, yang memainkan peranan dalam pemprosesan data dan pengurusan memainkan peranan yang penting.

1. HDFS (Sistem Fail Teragih Hadoop)

• Fungsi: Sistem fail yang boleh dipercayai dan berskala untuk menyimpan dan mengurus data besar-besaran.

• Ciri:

  • Pisahkan data kepada ketulan dan edarkannya merentas berbilang nod dalam kelompok.
  • Memberikan toleransi kesalahan yang tinggi dan melindungi data daripada kegagalan melalui storan berlebihan.
  • Menyokong akses baca dan tulis serentak untuk memenuhi keperluan daya pemprosesan yang tinggi.

2. MapReduce

• Peranan: Rangka kerja pengkomputeran teragih untuk memproses dan memproses set data besar-besaran.

• Fungsi:

  • Uraikan kerja kepada dua peringkat: Peta (pemetaan) dan Kurangkan (kurangkan).
  • Laksanakan kerja secara selari pada berbilang nod dalam kelompok.
  • Dengan mengisih dan mengagregatkan keputusan pertengahan untuk memberikan keputusan akhir.

3. BENANG (Yet Another Resource Negotiator)

• Peranan: Rangka kerja pengurusan sumber, bertanggungjawab mengurus dan menjadualkan sumber dalam kelompok Hadoop.

• Ciri:

  • Peruntukkan dan urus sumber pengkomputeran, ingatan dan storan untuk aplikasi.
  • Menyediakan mekanisme penjadualan bersatu dan menyokong pelbagai rangka kerja pengkomputeran.
  • Membolehkan kluster ditingkatkan dan ke bawah secara dinamik untuk memenuhi permintaan.

Atas ialah kandungan terperinci Peranan dan fungsi tiga komponen teras hadoop. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!