Centos HDFS의 구성 단계는 무엇입니까?

Centos에 Hadoop 분산 파일 시스템 (HDFS)을 배포하는 자세한 단계 :

1. 준비

1. Java 설치 : 시스템에 적절한 JDK 버전이 설치되어 있는지 확인하고 Java_Home 환경 변수를 구성하십시오.

2. HADOOP 설치 : 해당 버전의 Hadoop 배포 패키지를 다운로드하여 지정된 디렉토리 (예 : /usr/local/hadoop )로 압축 해제합니다.

2. 환경 구성

1. 환경 변수 설정 : /etc/profile 파일 편집 및 다음 환경 변수를 추가하십시오.

 java_home =/path/to/your/jdk 내보내기
내보내기 경로 = $ java_home/bin : $ 경로
내보내기 hadoop_home =/path/to/hadoop
내보내기 경로 = $ hadoop_home/bin : $ 경로

/path/to/your/jdk 및 /path/to/hadoop 실제 경로로 교체하십시오. 파일을 저장 한 후 source /etc/profile 실행하여 구성을 적용합니다.

2. SSH 비밀번호가없는 로그인 : 모든 Hadoop 노드에 대한 SSH 비밀번호 로그인 구성. ssh-keygen -t rsa 사용하여 키 쌍을 생성 한 다음 ssh-copy-id user@nodeX 사용하여 각 노드에 공개 키를 복사하십시오 ( user 사용자 이름으로, nodeX 로 Nodename으로 교체).

3. 네트워크 구성

1. 호스트 이름 : 각 노드의 호스트 이름이 네트워크를 통해 올바르게 구성되고 액세스 할 수 있는지 확인하십시오.

2. 정적 IP : 각 노드의 정적 IP 주소를 구성합니다. 네트워크 구성 파일 (예 : /etc/sysconfig/network-scripts/ifcfg-eth0 )을 편집하고 정적 IP, 서브넷 마스크 및 게이트웨이를 설정하십시오.

3. 시간 동기화 : NTP 서비스를 사용하여 모든 노드의 시간을 동기화합니다. NTP ( yum install ntp )를 설치하고 ntpdate ntp.aliyun.com (또는 기타 NTP 서버)을 사용하여 시간을 동기화하십시오.

4. HDFS 구성

1. Core Configuration 파일 (Core-Site.xml) : HDFS 기본 파일 시스템을 구성합니다. $HADOOP_HOME/etc/hadoop/core-site.xml 파일을 수정하고 다음 내용을 추가하십시오.

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs : // namenode_hostname : 9000</value>
  </property>
</configuration>

namenode_hostname Namenode 노드의 호스트 이름으로 바꾸십시오.

2. HDFS 구성 파일 (hdfs-site.xml) : HDFS 데이터 저장 경로 및 사본 수 등 구성 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 파일을 수정하고 다음 내용을 추가하십시오.

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/path/to/namenode/data</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/path/to/datanode/data</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

/path/to/namenode/data 및 /path/to/datanode/data namenode 및 datanode의 데이터 저장 디렉토리로 대체하십시오.

5. 형식 나메 노드

Namenode 노드에서 다음 명령을 실행하여 Namenode를 형식으로 실행하십시오.

 $ hadoop_home/bin/hdfs namenode -format

6. HDFS를 시작하십시오

HDFS 클러스터를 시작하려면 Namenode 노드에서 다음 명령을 실행하십시오.

 $ hadoop_home/sbin/start-dfs.sh

VII. 확인 및 중지

1. 확인 : jps 명령을 사용하여 HDFS 데몬이 시작되었는지 확인하십시오. HDFS 웹 UI를 보려면 http://namenode_hostname:50070 방문하십시오.

2. 정지 : Namenode 노드에서 다음 명령을 실행하여 HDFS 클러스터를 중지하십시오.

 $ hadoop_home/sbin/stop-dfs.sh

참고 : 위의 단계는 기본 가이드 일 뿐이며 실제 구성은 Hadoop 버전 및 클러스터 크기에 따라 다를 수 있습니다. 보다 자세하고 정확한 정보는 공식 Hadoop 문서를 참조하십시오. 실제 조건에 따라 경로를 수정하십시오.

위 내용은 Centos HDFS의 구성 단계는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!