데비안 하프를 테스트하는 방법

이 기사는 데비안 시스템에 Apache Hadoop을 설치하고 테스트하도록 안내합니다. 다음 단계는 구성 프로세스 및 검증 방법에 대한 자세한 설명을 제공합니다.

1 단계 : Java를 설치하십시오

시스템에 Java 8 이상이 설치되어 있는지 확인하십시오. 다음 명령을 사용하여 OpenJDK 8을 설치하십시오.

 Sudo 적절한 업데이트
sudo apt 설치 OpenJDK-8-JDK

설치 확인 :

 자바 -버전

2 단계 : Hadoop를 다운로드하고 압축 해제합니다

Apache Hadoop의 공식 웹 사이트에서 최신 버전의 Hadoop을 다운로드하여 지정된 디렉토리 (예 /usr/local/hadoop )에 압축을 풀어주십시오.

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop -3.3.1.tar.gz -c/usr/local/hadoop
````(실제 버전 번호로`hadoop-3.3.1 '을 교체하십시오)


** 3 단계 : 환경 변수 구성 **

`~/.bashrc` 파일을 편집하고 다음 환경 변수를 추가하십시오.

```Bash
Hadoop_home =/usr/local/hadoop 내보내기
내보내기 경로 = $ 경로 : $ hadoop_home/bin : $ hadoop_home/sbin

변경 사항을 발효시킵니다.

 출처 ~/.bashrc

4 단계 : Hadoop 구성 파일을 구성합니다

Hadoop 디렉토리에서 구성 파일을 수정하십시오.

• Core-Site.xml :

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs : // namenode : 9000</value>
  </property>
</configuration>

• hdfs-site.xml :

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>

• mapred-site.xml :

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>방사</value>
  </property>
</configuration>

• yarn-site.xml :

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuff</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
</configuration>

5 단계 : HDFS 형식

Namenode 노드에서 다음 명령을 HDFS 형식으로 실행하십시오.

 HDFS NAMENODE -FORMAT

6 단계 : Hadoop 서비스를 시작하십시오

Namenode 노드에서 Namenode 및 Datanode를 시작하십시오.

 start-dfs.sh

ResourceManager 노드에서 원사를 시작하십시오.

 start-yarn.sh

7 단계 : 로컬 모드 테스트

Hadoop 사용자로 전환 :

 Su -Hadoop

입력 디렉토리 및 파일 작성 :

 mkdir ~/입력
vi ~/input/date.txt

테스트 데이터를 입력하십시오 (예 : "Hello World", "Hello Hadoop"), 저장 및 종료.

WordCount 실행 예 :

 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*
```(실제 JAR 패키지 파일 이름에 따라 조정하십시오)

결과보기 :

```Bash
ls ~/출력
Cat ~/출력/Part-R-00000

올바른 출력은 Hadoop 로컬 모드가 성공적으로 실행되고 있음을 나타냅니다. 위의 단계는 독립형 환경에서 테스트 중이라고 가정합니다. 클러스터 환경의 경우 해당 구성 수정이 필요합니다. 자세한 내용과 최신 구성 정보는 공식 Hadoop 문서를 참조하십시오.

위 내용은 데비안 하프를 테스트하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!