>  기사  >  운영 및 유지보수  >  리눅스에 하둡을 설치하는 방법

리눅스에 하둡을 설치하는 방법

藏色散人
藏色散人원래의
2021-12-17 17:03:5611753검색

Linux에 Hadoop을 설치하는 방법: 1. SSH 서비스를 설치합니다. 2. 비밀번호 인증 없이 로그인하려면 3. Hadoop 설치 패키지를 다운로드합니다. 5. 다음에서 해당 파일을 구성합니다. 하둡.

리눅스에 하둡을 설치하는 방법

이 기사의 운영 환경: ubuntu 16.04 시스템, Hadoop 버전 2.7.1, Dell G3 컴퓨터.

Linux에 hadoop을 설치하는 방법은 무엇입니까?

[빅데이터] Linux에서 Hadoop(2.7.1) 설치 및 WordCount 실행에 대한 자세한 설명

1. 소개

Storm의 환경 구성을 완료한 후 Hadoop 설치를 만져보고 싶은데, 인터넷에 튜토리얼이 많이 있지만 특별히 적합한 것이 없어서 설치 과정에서 여전히 많은 어려움을 겪었습니다. 계속해서 정보를 확인한 후 마침내 문제를 해결했습니다. , 요점을 살펴 보겠습니다.

 이 머신의 구성 환경은 다음과 같습니다.

 Hadoop(2.7.1)

 Ubuntu Linux (64-bit system)

 구성 프로세스는 아래 여러 단계에서 자세히 설명됩니다.

2. SSH 서비스 설치

쉘 명령을 입력하고 다음 명령을 입력하여 SSH 서비스가 설치되어 있는지 확인합니다.

  sudo apt- get install ssh openssh- serversudo apt-get install ssh openssh-server

  安装过程还是比较轻松加愉快的。

三、使用ssh进行无密码验证登录

  1.创建ssh-key,这里我们采用rsa方式,使用如下命令:

    ssh-keygen -t rsa -P ""

  2.出现一个图形,出现的图形就是密码,不用管它

    cat ~/.ssh/id_rsa.pub >> authorized_keys(好像是可以省略的)

  3.然后即可无密码验证登录了,如下:

    ssh localhost

  成功截图如下:

    

四、下载Hadoop安装包

  下载Hadoop安装也有两种方式

    1.直接上官网进行下载,http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

    2.使用shell进行下载,命令如下:

      wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

  貌似第二种的方法要快点,经过漫长的等待,终于下载完成。

五、解压缩Hadoop安装包

  使用如下命令解压缩Hadoop安装包

    tar -zxvf hadoop-2.7.1.tar.gz

  解压缩完成后出现hadoop2.7.1的文件夹

六、配置Hadoop中相应的文件

  需要配置的文件如下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的文件均位于hadoop2.7.1/etc/hadoop下面,具体需要的配置如下:

  1.core-site.xml 配置如下:    

<configuration>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/leesf/program/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
      </property>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
    </configuration>

  其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

  2.mapred-site.xml.template配置如下:    

    <configuration>
      <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
      </property>
    </configuration>

  3.hdfs-site.xml配置如下:

    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/leesf/program/hadoop/tmp/dfs/name</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/leesf/program/hadoop/tmp/dfs/data</value>
      </property>
    </configuration>

  其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置,最好在hadoop.tmp.dir的目录下面。

  补充,如果运行Hadoop的时候发现找不到jdk,可以直接将jdk的路径放置在hadoop.env.sh里面,具体如下:

    export JAVA_HOME="/home/leesf/program/java/jdk1.8.0_60"

七、运行Hadoop

  在配置完成后,运行hadoop。

  1.初始化HDFS系统

    在hadop2.7.1目录下使用如下命令:

   bin/hdfs namenode -format

    截图如下:

     

    过程需要进行ssh验证,之前已经登录了,所以初始化过程之间键入y即可。

    成功的截图如下:

    

    表示已经初始化完成。

  2.开启NameNodeDataNode守护进程

    使用如下命令开启:

    sbin/start-dfs.sh,成功的截图如下:

 설치 과정은 비교적 쉽고 즐겁습니다.

3. 비밀번호 없는 인증 로그인을 위해 ssh 사용

  1. 여기서는 ssh-key를 생성하고 다음 명령을 사용합니다:

  ssh-keygen -t rsa -P ""

 2. 나오는 그래픽은 비밀번호이니 걱정하지 마세요

  cat ~/.ssh/id_rsa.pub >>

3. 그러면 다음과 같이 비밀번호 확인 없이 로그인할 수 있습니다: 🎜🎜  ssh localhost🎜🎜  성공적인 스크린샷은 다음과 같습니다: 🎜🎜  🎜🎜🎜네. Hadoop 설치 패키지 다운로드🎜🎜🎜Hadoop 설치를 다운로드하는 방법은 두 가지가 있습니다. 🎜🎜  1. 다운로드하려면 공식 웹사이트(http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz🎜🎜  2)로 직접 이동하세요. 셸을 사용하여 다운로드하세요. , 명령은 다음과 같습니다: 🎜🎜  wget http://mirrors .hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz🎜🎜  것 같습니다 두 번째 방법이 더 빠르다는 것을 알고 오랜 기다림 끝에 마침내 다운로드가 완료되었습니다. 🎜🎜🎜 5. Hadoop 설치 패키지 압축 해제 🎜🎜🎜 다음 명령을 사용하여 Hadoop 설치 패키지 압축 해제 🎜🎜 tar -zxvf hadoop-2.7.1.tar.gz 🎜🎜 압축 해제가 완료되면 hadoop2.7.1 폴더 🎜🎜 🎜6. Hadoop에서 해당 파일을 구성합니다🎜🎜🎜 구성해야 하는 파일은 hadoop-env.sh, core-site.xml, mapred-site.xml.template, hdfs-site 입니다. .xml, 모든 파일은 hadoop2 .7.1/etc/hadoop에 있으며, 구체적인 필수 구성은 다음과 같습니다. 🎜🎜 1.core-site.xml 구성은 다음과 같습니다. 🎜rrreee🎜 hadoop.tmp.dir의 경로는 다음과 같습니다. 자신의 습관에 따라 설정하십시오. 🎜🎜  2.mapred-site.xml.template는 다음과 같이 구성됩니다. 🎜rrreee🎜 3.hdfs-site.xml은 다음과 같이 구성됩니다. 🎜rrreee🎜  dfs.namenode.name.dir 및 dfs.datanode.data의 경로 .dir은 무료 설정일 수 있으며 가급적이면 hadoop.tmp.dir 디렉토리 아래에 있어야 합니다. 🎜🎜 또한 Hadoop 실행 시 jdk를 찾을 수 없는 경우 다음과 같이 hadoop.env.sh에 jdk 경로를 직접 배치할 수 있습니다. 🎜🎜 Export JAVA_HOME="/home/leesf/program/java/ jdk1.8.0_60"🎜🎜🎜7. Hadoop 실행🎜🎜🎜 구성이 완료되면 hadoop을 실행합니다. 🎜🎜 1. HDFS 시스템 초기화🎜🎜  hadop2.7.1 디렉터리에서 다음 명령을 사용하세요: 🎜rrreee🎜  스크린샷은 다음과 같습니다:🎜🎜   🎜🎜   해당 과정은 ssh 인증이 필요합니다. 이전에 이미 로그인한 상태이므로 초기화 과정 사이에 y만 입력하시면 됩니다. 🎜🎜  성공한 스크린샷은 다음과 같습니다.🎜🎜  🎜🎜 초기화가 완료되었음을 나타냅니다. 🎜🎜  2. NameNodeDataNode 데몬을 시작합니다. 🎜🎜 다음 명령을 사용하여 시작합니다. 🎜🎜  sbin/start-dfs.sh, 성공적인 스크린샷은 다음과 같습니다. 🎜🎜   🎜🎜🎜   3. 프로세스 정보 보기🎜🎜   프로세스 정보를 보려면 다음 명령을 사용하세요🎜🎜   jps, 스크린샷은 다음과 같습니다. 🎜🎜   🎜🎜🎜   이는 DataNode와 NameNode가 시작되었습니다🎜<p> 4. 웹 UI 보기</p> <p>   관련 정보를 보려면 브라우저에 http://localhost:50070 을 입력하세요. 스크린샷은 다음과 같습니다. </p> <p><img src="https://img.php.cn/upload/article/000/000/020/bfb5bc22f461fcb2beb87197aa100a4e-5.png" alt=""></p> <p> 이제 hadoop 환경이 설정되었습니다. Hadoop을 사용하여 WordCount 예제를 실행해 보겠습니다. </p> <p><strong> 8. WordCount 데모 실행 </strong></p> <p> 1. 로컬에서 새 파일을 만듭니다. 작성자가 home/leesf 디렉터리에 새 단어 문서를 만들었습니다. 원하는 대로 내용을 채울 수 있습니다. </p> <p> 2. 로컬 단어 문서를 업로드하기 위해 HDFS에 새 폴더를 만듭니다. hadoop2.7.1 디렉터리에 다음 명령을 입력합니다: </p> <p>  bin/hdfs dfs -mkdir /test, 이는 hdfs A의 루트 디렉터리에 생성됨을 의미합니다. 테스트 디렉터리</p> <p> 다음 명령을 사용하여 HDFS 루트 디렉터리 아래 디렉터리 구조를 확인하세요</p> <p>  bin/hdfs dfs -ls /</p> <p>  구체적인 스크린샷은 다음과 같습니다.</p> <p>  <img src="https://img.php.cn/upload/article/000/000/020/2d6b7ed9c222079a563098cea81e4d89-6.png" alt=""></p> <p>  테스트 디렉터리가 생성되었음을 의미합니다. HDFS의 루트 디렉토리 </p> <p>  3. 로컬 단어 문서를 테스트 디렉토리에 업로드</p> <p>  업로드하려면 다음 명령을 사용하십시오: </p> <p>  bin/hdfs dfs -put /home/leesf/words /test/</p> <p>                                         나 안으로 in in for the next words /test/</p> <p> hdfs dfs -ls /test/</p> <p>   결과 스크린샷은 다음과 같습니다. </p> <p>  <img src="https://img.php.cn/upload/article/000/000/020/2d6b7ed9c222079a563098cea81e4d89-7.png" alt=""></p> <p>  로컬 단어 문서가 테스트 디렉토리에 업로드되었습니다. </p> <p>  4. wordcount 실행</p> <p>  wordcount를 실행하려면 다음 명령을 사용하세요.</p> <p>  bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/words /test/out</p> <p> 스크린샷은 다음과 같습니다. </p> <p>   <img src="https://img.php.cn/upload/article/000/000/020/2d6b7ed9c222079a563098cea81e4d89-8.png" alt=""></p> <p>   작업이 완료되면 out이라는 파일이 /test 디렉터리에 생성됩니다. 다음 명령을 사용하여 /test 디렉터리의 파일을 확인하세요</p> <p>  bin/hdfs dfs - ls /test</p> <p>  스크린샷은 다음과 같습니다.</p> <p>  <img src="https://img.php.cn/upload/article/000/000/020/9e4e133c94861b62bd546dbeb0c3b6b4-9.png" alt=""> </p> <p>   테스트 디렉터리에 Out이라는 파일 디렉터리가 이미 있음을 나타냅니다</p> <p>  out 디렉터리의 파일을 보려면 다음 명령을 입력하세요. </p> <p>  bin/hdf 초 dfs -ls /test/out, 결과 스크린샷은 다음과 같습니다. </p> <p>  <img src="https://img.php.cn/upload/article/000/000/020/9e4e133c94861b62bd546dbeb0c3b6b4-10.png" alt=""></p> <p>  성공적으로 실행되었으며 결과가 part-r-00000에 저장되었음을 나타냅니다. </p> <p>  5. 실행 결과 확인</p> <p>  실행 결과를 확인하려면 다음 명령어를 사용하세요.</p> <p>  bin/hadoop fs -cat /test/out/part-r-00000</p> <p>  결과 스크린샷은 다음과 같습니다</p> <p>  <img src="https://img.php.cn/upload/article/000/000/020/9e4e133c94861b62bd546dbeb0c3b6b4-11.png" alt=""> </p> <p> 이 시점에서 실행 프로세스가 완료되었습니다. </p> <p><strong>9. 요약</strong></p> <p> 이번 hadoop 구성 과정에서 많은 문제가 발생했습니다. hadoop1.x와 2.x의 명령은 여전히 ​​구성 과정에서 문제가 하나씩 해결되었습니다. , 많은 것을 얻었습니다. hadoop 환경을 구성하려는 정원사들의 편의를 위해 이 구성에 대한 경험을 공유하고 싶습니다. 구성 과정에서 궁금한 점이 있으면 언제든지 토론해 주세요. 시청하세요~</p> <p> 추천 학습 : "<a href="https://www.php.cn/course/list/33.html" target="_blank">linux 비디오 튜토리얼</a>"</p>

위 내용은 리눅스에 하둡을 설치하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.