CentOS HDFS를 신속하게 구성하는 방법

CentOS 시스템에 HDFS (Hadoop 분산 파일 시스템)를 배포하려면 여러 단계가 필요하며 다음 안내서는 독립형 모드의 구성 프로세스를 간략하게 설명합니다. 전체 클러스터 배포가 더 복잡합니다.

1. Java 환경 구성

먼저 시스템에 Java가 설치되어 있는지 확인하십시오. 다음 명령을 사용하여 OpenJDK를 설치하십시오.

 yum install -y java-1.8.0 -openjdk-devel

Java 환경 변수 구성 :

 echo "export java_home =/usr/lib/jvm/java-1.8.0 -openjdk">>/etc/profile
echo "내보내기 경로 = $ java_home/bin : $ path">>/etc/profile
소스 /etc /프로필
자바 -버전

2. SSH 비밀번호가없는 로그인 설정

노드간에 원활하게 통신하려면 SSH 비밀번호가없는 로그인이 필요합니다.

1. SSH 키 쌍 생성 :

 ssh -keygen -t rsa -p ''-f ~/.ssh/id_rsa

2. 공개 키를 모든 노드에 복사합니다 (여기에는 독립형 구성 만 있으므로이 단계는 생략됩니다).

3. Hadoop 다운로드 및 감압

Apache Hadoop 공식 웹 사이트에서 Hadoop 배포를 다운로드하여 지정된 디렉토리로 압축 해제하십시오.

 wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz
타르 -zxvf hadoop -3.1.3.tar.gz
MV Hadoop-3.1.3 /opt /hadoop

4. Hadoop 환경 가변 구성

/etc/profile 파일을 편집하고 다음 환경 변수를 추가하십시오.

 Hadoop_home =/opt/hadoop 내보내기
내보내기 경로 = $ hadoop_home/bin : $ 경로
소스 /etc /프로필

5. Hadoop 구성 파일 수정

Core-site.xml

/opt/hadoop/etc/hadoop/core-site.xml 편집, 다음을 추가하십시오 (호스트 IP로 192.168.1.1 교체) :

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>HDFS : //192.168.1.1 : 9000</value>
  </property>
</configuration>

hdfs-site.xml

/opt/hadoop/etc/hadoop/hdfs-site.xml 편집하고 다음을 추가하십시오.

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hdfs/datanode</value>
  </property>
</configuration>

6. 나 메노 노드 형식

형식 나미 노드 :

 /opt/hadoop/bin/hdfs namenode -format

7. HDFS 스타트 업

HDFS 서비스 시작 :

 /opt/hadoop/sbin/start-dfs.sh

8. HDFS 상태 확인

HDFS 상태 확인 :

 JPS

나 메노 노드 및 Datanode 프로세스가 실행되는 것을 볼 수 있습니다.

9. HDFS 웹 UI 액세스

HDFS 웹 인터페이스를 보려면 http://192.168.1.1:50070 ( 192.168.1.1 호스트 IP로 교체)을 방문하십시오.

이 안내서는 독립형 HDFS 구성에 대해서만 참조합니다. 멀티 노드 클러스터 배포에는 Zookeeper, 보조 Namenode 등의 추가 구성이 필요하며 모든 노드 구성 파일이 일관되도록해야합니다.

위 내용은 CentOS HDFS를 신속하게 구성하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!