데비안에서 하프 개발 환경을 구축하는 방법

이 안내서는 데비안 시스템에서 Hadoop 개발 환경을 구축하는 방법에 대해 자세히 설명합니다.

1. Java Development Kit (JDK) 설치

먼저 OpenJDK를 설치하십시오.

 Sudo 적절한 업데이트
sudo apt install install openjdk-11-jdk -y

Java_home 환경 변수 구성 :

 Sudo nano /etc /환경

파일 끝에서 추가합니다 (실제 JDK 버전에 따라 경로 조정) :

 <code>JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"</code>

저장하고 종료 한 다음 실행합니다.

 소스 /etc /환경

설치 확인 :

 자바 -버전

2. Hadoop을 설치하십시오

Hadoop 3.3.6 (또는 기타 버전) 다운로드 :

 wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz

다운로드 무결성 확인 :

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz.sha512
SHA256SUM -C HADOOP-3.3.6-Src.tar.gz.sha512

디렉토리를 만들고 압축을 풀기 :

 Sudo mkdir /opt /hadoops
sudo tar -xzvf hadoop-3.3.6-src.tar.gz -c /opt /hadoops --- 스트립 컴포넌트 1

3. Hadoop 환경 변수를 구성합니다

/etc/profile 파일 편집 및 추가 :

 Hadoop_home = "/opt/hadoops/hadoop-3.3.6"내보내기
내보내기 경로 = $ 경로 : $ hadoop_home/bin : $ hadoop_home/sbin

환경 변수 새로 고침 :

 소스 /etc /프로필

4. Hadoop Core 구성 파일을 구성합니다

core-site.xml 편집 :

 sudo nano $ hadoop_home/etc/hadoop/core-site.xml

추가 :

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs : // localhost : 9000</value>
  </property>
</configuration>

hdfs-site.xml 편집 :

 sudo nano $ hadoop_home/etc/hadoop/hdfs-site.xml

추가 :

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoops/hdfs/namenode</value>
  </property>
</configuration>

mapred-site.xml 편집 :

 sudo nano $ hadoop_home/etc/hadoop/mapred-site.xml

추가 :

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>방사</value>
  </property>
</configuration>

yarn-site.xml 편집 :

 sudo nano $ hadoop_home/etc/hadoop/yarn-site.xml

추가 :

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuff</value>
  </property>
</configuration>

5. 비밀번호 로그인없이 SSH를 설정합니다

SSH 키 생성 :

 Sudo Su -Hadoop
ssh -keygen -t rsa -p "" "

공개 키 복사 :

 cat ~/.ssh/id_rsa.pub >> ~/.ssh/alopporized_keys

테스트 연결 :

 SSH Localhost

6. 형식 나메 노드

 HDFS NAMENODE -FORMAT

7. Hadoop 서비스를 시작하십시오

 start-dfs.sh
start-yarn.sh

8. Hadoop 설치를 확인하십시오

클러스터 상태 확인 :

 HDFS DFSADMIN-보고

Namenode 웹 인터페이스 : http://localhost:9870 방문하십시오

위의 단계를 완료 한 후 Debian 시스템의 Hadoop 개발 환경이 완료되었습니다. 실제 상황에 따라 경로와 Hadoop 버전을 조정하십시오.

위 내용은 데비안에서 하프 개발 환경을 구축하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!