Bagaimana Debian Mengintegrasikan Hadoop dengan Alat Lain

Panduan ini memperincikan bagaimana untuk mengintegrasikan Hadoop dan alat lain pada sistem Debian, yang meliputi langkah -langkah utama seperti pembinaan persekitaran Java, konfigurasi Hadoop, permulaan dan pengurusan kluster.

1. Penyediaan persekitaran Java

Pertama, pastikan sistem anda mempunyai Java 8 atau lebih tinggi dipasang. Pasang OpenJDK 8 menggunakan arahan berikut:

 Kemas kini sudo apt
sudo apt memasang openjdk-8-jdk

Sahkan pemasangan:

 java -versi

2. Hadoop muat turun dan penyahmampatan

Muat turun versi terkini pakej pemasangan Hadoop (seperti Hadoop 3.3.1) dari laman web rasmi Apache Hadoop dan unzipnya ke direktori yang ditentukan (seperti /usr/local/hadoop ):

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf Hadoop -3.3.1.tar.gz -c/usr/local/Hadoop

3. Konfigurasi pemboleh ubah persekitaran

Edit fail ~/.bashrc dan tambahkan pembolehubah persekitaran berikut:

 Eksport java_home =/usr/lib/jvm/jdk-8-opengdk-amd64
Eksport HADOOP_HOME =/usr/Local/Hadoop
Path Export = $ Path: $ Hadoop_Home/Bin: $ Hadoop_Home/Sbin

Buat konfigurasi berkuat kuasa:

 Sumber ~/.bashrc

4. Konfigurasi Teras Hadoop

Ubah suai fail konfigurasi teras Hadoop ( core-site.xml , hdfs-site.xml , mapred-site.xml , yarn-site.xml ). Berikut adalah contoh konfigurasi:

core-site.xml :

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>HDFS: // Namenode: 9000</value>
  </property>
</configuration>

hdfs-site.xml :

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>

mapred-site.xml :

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>Benang</value>
  </property>
</configuration>

yarn-site.xml :

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
</configuration>

5. Pemformatan HDFS

Pada nod namenode, laksanakan arahan berikut untuk memformat HDFS:

 HDFS namenode -Format

6. Perkhidmatan Hadoop bermula

Mulakan Perkhidmatan Hadoop di Namenode:

 start-dfs.sh
Start-yarn.sh

7. Pengesahan Pemasangan

Jalankan arahan berikut untuk mengesahkan bahawa Hadoop bermula dengan jayanya:

 HDFS DFS -LS /

Atau mengakses antara muka pengurusan Hadoop.

8. Konfigurasi dan Pengurusan Kluster

Langkah ini melibatkan konfigurasi rangkaian antara nod, konfigurasi ruang penyimpanan, pengoptimuman parameter JVM, penetapan dasar penjadualan pekerjaan, dan pemantauan dan pengurusan kluster menggunakan alat seperti Ambari atau Cloudera Manager.

Melalui langkah -langkah di atas, anda boleh berjaya membina dan menguruskan kluster Hadoop pada sistem Debian. Sila sesuaikan parameter konfigurasi mengikut persekitaran sebenar anda.

Atas ialah kandungan terperinci Bagaimana Debian Mengintegrasikan Hadoop dengan Alat Lain. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!