Das Bereitstellen von Hadoop Distributed Dateisystem (HDFS) in einem CentOS-System erfordert mehrere Schritte, und das folgende Leitfaden beschreibt kurz den Konfigurationsprozess im eigenständigen Modus. Die vollständige Cluster -Bereitstellung ist komplexer.
1. Konfiguration der Java -Umgebungskonfiguration
Stellen Sie zunächst sicher, dass das System Java installiert hat. Installieren Sie OpenJDK mit dem folgenden Befehl:
yum install -y java-1.8.0-openjdk-devel
Konfigurieren von Java -Umgebungsvariablen:
echo "export java_home =/usr/lib/jvm/java-1.8.0-openjdk" >>/etc/profil Echo "Exportpath = $ java_home/bin: $ path" >>/etc/Profil Quelle /etc /Profil Java -Version
2. SSH-Kennwort-freie Anmeldeinstellungen
Um nahtlos zwischen Knoten zu kommunizieren, ist eine SSH-Passwort-freie Anmeldung erforderlich.
- Generieren Sie ein SSH -Schlüsselpaar:
ssh -keygen -t rsa -p '' -f ~/.ssh/id_rsa
- Kopieren Sie den öffentlichen Schlüssel zu allen Knoten (hier ist nur eine eigenständige Konfiguration, daher wird dieser Schritt weggelassen):
3.. Hadoop -Download und Dekompression
Laden Sie die Hadoop -Verteilung von der offiziellen Website von Apache Hadoop herunter und entpacken Sie sie auf das angegebene Verzeichnis:
wGet https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz tar -Zxvf Hadoop -3.1.3.tar.gz MV Hadoop-3.1.3 /Opt /Hadoop
4. Konfiguration der Hadoop -Umgebungsvariable
Bearbeiten Sie die Datei /etc/profile
und fügen Sie die folgenden Umgebungsvariablen hinzu:
Export hadoop_home =/opt/hadoop Exportpfad = $ hadoop_home/bin: $ path Quelle /etc /Profil
5. Änderung der Hadoop -Konfigurationsdatei
Core-Site.xml
Edit /opt/hadoop/etc/hadoop/core-site.xml
fügen Sie Folgendes hinzu (ersetzen Sie 192.168.1.1
mit Ihrem Host-IP):
<configuration> <property> <name>Fs.DefaultFs</name> <value>HDFS: //192.168.1.1: 9000</value> </property> </configuration>
HDFS-site.xml
Edit /opt/hadoop/etc/hadoop/hdfs-site.xml
und fügen Sie Folgendes hinzu:
<configuration> <property> <name>DFS.Replikation</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/hdfs/datanode</value> </property> </configuration>
6. NAMENODE -Formatierung
Formatnamenode:
/opt/hadoop/bin/hdfs namenode -format
7. HDFS -Startup
Starten Sie den HDFS -Service:
/opt/hadoop/sbin/start-dfs.sh
8. HDFS -Statusüberprüfung
Überprüfen Sie den HDFS -Status:
JPS
Sie sollten sehen, dass die Namenode- und Datanode -Prozesse ausgeführt werden.
9. HDFS -Web -UI -Zugriff
Besuchen Sie http://192.168.1.1:50070
(Ersetzen Sie 192.168.1.1
durch Ihre Host -IP), um die HDFS -Weboberfläche anzuzeigen.
Diese Anleitung bezieht sich nur für die eigenständige HDFS-Konfiguration. Multi-Knoten-Cluster-Bereitstellung erfordert eine zusätzliche Konfiguration von Zookeeper, sekundärer Namenode usw. und sicherzustellen, dass alle Knotenkonfigurationsdateien konsistent sind.
Das obige ist der detaillierte Inhalt vonSo konfigurieren Sie schnell CentOS -HDFs. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Alternativen zu CentOS sind Rockylinux, Almalinux, Oraclelinux und SLES. 1) Rockylinux und Almalinux liefern rhelkompatible Binärpakete und langfristige Unterstützung. 2) Oraclelinux bietet Unterstützung auf Unternehmensebene und KSplice-Technologie. 3) SLES bietet langfristige Unterstützung und Stabilität, aber die kommerzielle Lizenzierung kann die Kosten erhöhen.

Zu den Alternativen zu CentOS gehören Ubuntuserver, Debian, Fedora, Rockylinux und Almalinux. 1) Ubuntuserver eignet sich für grundlegende Vorgänge wie das Aktualisieren von Softwarepaketen und das Konfigurieren des Netzwerks. 2) Debian eignet sich für die fortgeschrittene Verwendung, z. B. für die Verwaltung von LXC zum Verwalten von Containern. 3) Rockylinux kann die Leistung optimieren, indem Kernelparameter eingestellt werden.

Der Befehl centOS stilldown wird heruntergefahren und die Syntax wird von [Optionen] ausgeführt [Informationen]. Zu den Optionen gehören: -h das System sofort stoppen; -P schalten Sie die Leistung nach dem Herunterfahren aus; -r neu starten; -t Wartezeit. Zeiten können als unmittelbar (jetzt), Minuten (Minuten) oder als bestimmte Zeit (HH: MM) angegeben werden. Hinzugefügten Informationen können in Systemmeldungen angezeigt werden.

Die wichtigsten Unterschiede zwischen CentOS und Ubuntu sind: Ursprung (CentOS stammt von Red Hat, für Unternehmen; Ubuntu stammt aus Debian, für Einzelpersonen), Packungsmanagement (CentOS verwendet yum, konzentriert sich auf Stabilität; Ubuntu verwendet apt, für hohe Aktualisierungsfrequenz), Support Cycle (Centos) (CENTOS bieten 10 Jahre. Tutorials und Dokumente), Verwendungen (CentOS ist auf Server voreingenommen, Ubuntu ist für Server und Desktops geeignet). Weitere Unterschiede sind die Einfachheit der Installation (CentOS ist dünn)

Steps to configure IP address in CentOS: View the current network configuration: ip addr Edit the network configuration file: sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0 Change IP address: Edit IPADDR= Line changes the subnet mask and gateway (optional): Edit NETMASK= and GATEWAY= Lines Restart the network service: sudo systemctl restart network verification IP address: ip addr

CentOS -Installationsschritte: Laden Sie das ISO -Bild herunter und verbrennen Sie bootfähige Medien. Starten und wählen Sie die Installationsquelle; Wählen Sie das Layout der Sprache und Tastatur aus. Konfigurieren Sie das Netzwerk; Partition die Festplatte; Setzen Sie die Systemuhr; Erstellen Sie den Root -Benutzer; Wählen Sie das Softwarepaket aus; Starten Sie die Installation; Starten Sie nach Abschluss der Installation von der Festplatte neu und starten Sie von der Festplatte.

Der Befehl zum Neustart des SSH -Dienstes lautet: SystemCTL Neustart SSHD. Detaillierte Schritte: 1. Zugriff auf das Terminal und eine Verbindung zum Server; 2. Geben Sie den Befehl ein: SystemCTL Neustart SSHD; 1. Überprüfen Sie den Dienststatus: SystemCTL -Status SSHD.

Um das Netzwerk in CentOS 8 neu zu starten


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

MantisBT
Mantis ist ein einfach zu implementierendes webbasiertes Tool zur Fehlerverfolgung, das die Fehlerverfolgung von Produkten unterstützen soll. Es erfordert PHP, MySQL und einen Webserver. Schauen Sie sich unsere Demo- und Hosting-Services an.

SAP NetWeaver Server-Adapter für Eclipse
Integrieren Sie Eclipse mit dem SAP NetWeaver-Anwendungsserver.

VSCode Windows 64-Bit-Download
Ein kostenloser und leistungsstarker IDE-Editor von Microsoft

SublimeText3 Englische Version
Empfohlen: Win-Version, unterstützt Code-Eingabeaufforderungen!

ZendStudio 13.5.1 Mac
Leistungsstarke integrierte PHP-Entwicklungsumgebung