Cara Melaksanakan Pengurusan Sumber Debian Hadoop

Artikel ini menerangkan cara mengkonfigurasi Hadoop Explorer pada sistem Debian. Langkah -langkah berikut meliputi pembinaan dan pengesahan kluster Hadoop.

1. Konfigurasi Pemasangan dan Alam Sekitar Hadoop

Pertama, pasang Hadoop pada sistem Debian. Dengan mengandaikan bahawa anda telah memuat turun pakej pemasangan Hadoop 2.7.2, anda boleh unzip dan memasangnya menggunakan arahan berikut:

 sudo mkdir/usr/local/hadoop
sudo tar xvf hadoop -2.7.2.tar.gz -c/usr/local/hadoop

Seterusnya, konfigurasikan pembolehubah persekitaran untuk memudahkan operasi berikutnya. Edit fail ~/.bashrc atau /etc/profile dan tambahkan yang berikut:

 Eksport HADOOP_HOME =/usr/Local/Hadoop
Path Export = $ Path: $ Hadoop_Home/Bin

Laksanakan source ~/.bashrc atau source /etc/profile untuk membuat konfigurasi berkuatkuasa.

2. Konfigurasi kluster Hadoop

Pada semua nod kluster, anda perlu mengkonfigurasi fail konfigurasi Hadoop teras: core-site.xml , hdfs-site.xml , mapred-site.xml , dan yarn-site.xml . Fail -fail ini menentukan sifat utama kluster Hadoop, seperti alamat nod nama HDFS, bilangan replika data, rangka kerja MapReduce, dan alamat Pengurus Sumber Benang.

Sebagai contoh, serpihan konfigurasi core-site.xml adalah seperti berikut:

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs: // debian171: 9000</value>
  </property>
  <property>
    <name>Hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

Sila ubah suai konfigurasi ini mengikut keadaan sebenar kelompok anda.

3. Permulaan kluster Hadoop

Pada semua nod, mulakan perkhidmatan HDFS dan benang dengan arahan berikut:

 CD/USR/Local/Hadoop/SBIN
./start-dfs.sh
./Start-Marn.sh

4. Pengesahan Pengurusan Sumber

Jalankan pekerjaan WordCount yang mudah untuk mengesahkan bahawa Pengurusan Sumber Hadoop berfungsi:

 Hadoop Jar Hadoop-examples.Jar WordCount /TMP /Input /Output

Sekiranya hasilnya berjaya dijalankan dan output, ini bermakna konfigurasi pengurusan sumber Hadoop berjaya.

5. Perkara yang perlu diperhatikan

Langkah -langkah di atas menyediakan proses konfigurasi pengurusan sumber Hadoop asas. Konfigurasi sebenar mungkin berbeza -beza bergantung kepada saiz kluster, versi Hadoop, dan keperluan khusus. Sila rujuk dokumentasi Hadoop rasmi untuk maklumat konfigurasi yang lebih terperinci.

Atas ialah kandungan terperinci Cara Melaksanakan Pengurusan Sumber Debian Hadoop. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!