Cara Cepat Mengkonfigurasi CentOS HDFS

Menggunakan Sistem Fail Teragih Hadoop (HDFS) pada sistem CentOS memerlukan beberapa langkah, dan panduan berikut secara ringkas menerangkan proses konfigurasi dalam mod berdiri sendiri. Penyebaran kluster penuh lebih kompleks.

1. Konfigurasi Alam Sekitar Java

Pertama, pastikan sistem telah dipasang Java. Pasang OpenJDK menggunakan arahan berikut:

 yum install -y java-1.8.0-openjdk-devel

Konfigurasikan pembolehubah persekitaran Java:

 echo "eksport java_home =/usr/lib/jvm/java-1.8.0-openjdk" >>/etc/profil
echo "laluan eksport = $ java_home/bin: $ path" >>/etc/profil
sumber /etc /profil
java -versi

2. Tetapan log masuk bebas kata laluan SSH

Untuk berkomunikasi dengan lancar antara nod, log masuk bebas kata laluan SSH diperlukan.

1. Menjana pasangan kunci SSH:

 ssh -keygen -t rsa -p '' -f ~/.ssh/id_rsa

2. Salin kunci awam kepada semua nod (di sini hanya konfigurasi yang berdiri sendiri, jadi langkah ini ditinggalkan):

3. Hadoop muat turun dan penyahmampatan

Muat turun pengedaran Hadoop dari laman web rasmi Apache Hadoop dan unzipnya ke direktori yang ditentukan:

 wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz
tar -zxvf Hadoop -3.1.3.tar.gz
MV Hadoop-3.1.3 /Opt /Hadoop

4. Konfigurasi Pembolehubah Persekitaran Hadoop

Edit fail /etc/profile dan tambahkan pembolehubah persekitaran berikut:

 Eksport HADOOP_HOME =/OPT/HADOOP
Laluan Eksport = $ Hadoop_Home/Bin: $ Path
sumber /etc /profil

5. Pengubahsuaian Fail Konfigurasi Hadoop

CORE-SITE.XML

Edit /opt/hadoop/etc/hadoop/core-site.xml , tambahkan yang berikut (ganti 192.168.1.1 dengan IP hos anda):

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>HDFS: //192.168.1.1: 9000</value>
  </property>
</configuration>

hdfs-site.xml

Edit /opt/hadoop/etc/hadoop/hdfs-site.xml dan tambahkan yang berikut:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/OPT/HADOOP/HDFS/NAMENODE</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/OPT/HADOOP/HDFS/DATANODE</value>
  </property>
</configuration>

6. Format Namenode

Format Namenode:

 /OPT/HADOOP/BIN/HDFS NAMENODE -FORMAT

7. HDFS Startup

Mulakan Perkhidmatan HDFS:

 /opt/hadoop/sbin/start-dfs.sh

8. Pengesahan Status HDFS

Semak status HDFS:

 JPS

Anda harus melihat proses Namenode dan Datanode berjalan.

9. Akses UI web HDFS

Lawati http://192.168.1.1:50070 (ganti 192.168.1.1 dengan IP hos anda) untuk melihat antara muka web HDFS.

Panduan ini hanya untuk rujukan untuk konfigurasi HDFS yang berdiri sendiri. Penyebaran kluster multi-nod memerlukan konfigurasi tambahan zookeeper, namenode sekunder, dan lain-lain, dan pastikan semua fail konfigurasi nod adalah konsisten.

Atas ialah kandungan terperinci Cara Cepat Mengkonfigurasi CentOS HDFS. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!