집 >운영 및 유지보수 >리눅스 운영 및 유지 관리 >리눅스에 하둡을 설치하는 방법
리눅스에 하둡을 설치하는 방법
- 藏色散人원래의
- 2021-12-17 17:03:5611804검색
Linux에 Hadoop을 설치하는 방법: 1. SSH 서비스를 설치합니다. 2. 비밀번호 인증 없이 로그인하려면 3. Hadoop 설치 패키지를 다운로드합니다. 5. 다음에서 해당 파일을 구성합니다. 하둡.
이 기사의 운영 환경: ubuntu 16.04 시스템, Hadoop 버전 2.7.1, Dell G3 컴퓨터.
Linux에 hadoop을 설치하는 방법은 무엇입니까?
[빅데이터] Linux에서 Hadoop(2.7.1) 설치 및 WordCount 실행에 대한 자세한 설명
1. 소개
Storm의 환경 구성을 완료한 후 Hadoop 설치를 만져보고 싶은데, 인터넷에 튜토리얼이 많이 있지만 특별히 적합한 것이 없어서 설치 과정에서 여전히 많은 어려움을 겪었습니다. 계속해서 정보를 확인한 후 마침내 문제를 해결했습니다. , 요점을 살펴 보겠습니다.
이 머신의 구성 환경은 다음과 같습니다.
Hadoop(2.7.1)
Ubuntu Linux (64-bit system)
구성 프로세스는 아래 여러 단계에서 자세히 설명됩니다.
2. SSH 서비스 설치
쉘 명령을 입력하고 다음 명령을 입력하여 SSH 서비스가 설치되어 있는지 확인합니다.
sudo apt- get install ssh openssh- serversudo apt-get install ssh openssh-server
安装过程还是比较轻松加愉快的。
三、使用ssh进行无密码验证登录
1.创建ssh-key，这里我们采用rsa方式，使用如下命令：
ssh-keygen -t rsa -P ""
2.出现一个图形，出现的图形就是密码，不用管它
cat ~/.ssh/id_rsa.pub >> authorized_keys(好像是可以省略的)
3.然后即可无密码验证登录了，如下：
ssh localhost
成功截图如下：
四、下载Hadoop安装包
下载Hadoop安装也有两种方式
1.直接上官网进行下载，http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
2.使用shell进行下载，命令如下：
wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
貌似第二种的方法要快点，经过漫长的等待，终于下载完成。
五、解压缩Hadoop安装包
使用如下命令解压缩Hadoop安装包
tar -zxvf hadoop-2.7.1.tar.gz
解压缩完成后出现hadoop2.7.1的文件夹
六、配置Hadoop中相应的文件
需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop2.7.1/etc/hadoop下面，具体需要的配置如下：
1.core-site.xml 配置如下：
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/home/leesf/program/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。
2.mapred-site.xml.template配置如下：
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
3.hdfs-site.xml配置如下：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/leesf/program/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/leesf/program/hadoop/tmp/dfs/data</value> </property> </configuration>
其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置，最好在hadoop.tmp.dir的目录下面。
补充，如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop.env.sh里面，具体如下：
export JAVA_HOME="/home/leesf/program/java/jdk1.8.0_60"
七、运行Hadoop
在配置完成后，运行hadoop。
1.初始化HDFS系统
在hadop2.7.1目录下使用如下命令：
bin/hdfs namenode -format
截图如下：
过程需要进行ssh验证，之前已经登录了，所以初始化过程之间键入y即可。
成功的截图如下：
表示已经初始化完成。
2.开启NameNode和DataNode守护进程
使用如下命令开启：
sbin/start-dfs.sh，成功的截图如下：
1. 여기서는 ssh-key를 생성하고 다음 명령을 사용합니다:
ssh-keygen -t rsa -P ""
2. 나오는 그래픽은 비밀번호이니 걱정하지 마세요
cat ~/.ssh/id_rsa.pub >> 3. 그러면 다음과 같이 비밀번호 확인 없이 로그인할 수 있습니다: 🎜🎜 ssh localhost🎜🎜 성공적인 스크린샷은 다음과 같습니다: 🎜🎜 
🎜🎜🎜네. Hadoop 설치 패키지 다운로드🎜🎜🎜Hadoop 설치를 다운로드하는 방법은 두 가지가 있습니다. 🎜🎜 1. 다운로드하려면 공식 웹사이트(http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz🎜🎜 2)로 직접 이동하세요. 셸을 사용하여 다운로드하세요. , 명령은 다음과 같습니다: 🎜🎜 wget http://mirrors .hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz🎜🎜 것 같습니다 두 번째 방법이 더 빠르다는 것을 알고 오랜 기다림 끝에 마침내 다운로드가 완료되었습니다. 🎜🎜🎜 5. Hadoop 설치 패키지 압축 해제 🎜🎜🎜 다음 명령을 사용하여 Hadoop 설치 패키지 압축 해제 🎜🎜 tar -zxvf hadoop-2.7.1.tar.gz 🎜🎜 압축 해제가 완료되면 hadoop2.7.1 폴더 🎜🎜 🎜6. Hadoop에서 해당 파일을 구성합니다🎜🎜🎜 구성해야 하는 파일은 hadoop-env.sh, core-site.xml, mapred-site.xml.template, hdfs-site 입니다. .xml, 모든 파일은 hadoop2 .7.1/etc/hadoop에 있으며, 구체적인 필수 구성은 다음과 같습니다. 🎜🎜 1.core-site.xml 구성은 다음과 같습니다. 🎜rrreee🎜 hadoop.tmp.dir의 경로는 다음과 같습니다. 자신의 습관에 따라 설정하십시오. 🎜🎜 2.mapred-site.xml.template는 다음과 같이 구성됩니다. 🎜rrreee🎜 3.hdfs-site.xml은 다음과 같이 구성됩니다. 🎜rrreee🎜 dfs.namenode.name.dir 및 dfs.datanode.data의 경로 .dir은 무료 설정일 수 있으며 가급적이면 hadoop.tmp.dir 디렉토리 아래에 있어야 합니다. 🎜🎜 또한 Hadoop 실행 시 jdk를 찾을 수 없는 경우 다음과 같이 hadoop.env.sh에 jdk 경로를 직접 배치할 수 있습니다. 🎜🎜 Export JAVA_HOME="/home/leesf/program/java/ jdk1.8.0_60"🎜🎜🎜7. Hadoop 실행🎜🎜🎜 구성이 완료되면 hadoop을 실행합니다. 🎜🎜 1. HDFS 시스템 초기화🎜🎜 hadop2.7.1 디렉터리에서 다음 명령을 사용하세요: 🎜rrreee🎜 스크린샷은 다음과 같습니다:🎜🎜 
🎜🎜 해당 과정은 ssh 인증이 필요합니다. 이전에 이미 로그인한 상태이므로 초기화 과정 사이에 y만 입력하시면 됩니다. 🎜🎜 성공한 스크린샷은 다음과 같습니다.🎜🎜 🎜🎜 초기화가 완료되었음을 나타냅니다. 🎜🎜 2. NameNode 및 DataNode 데몬을 시작합니다. 🎜🎜 다음 명령을 사용하여 시작합니다. 🎜🎜 sbin/start-dfs.sh, 성공적인 스크린샷은 다음과 같습니다. 🎜🎜 🎜🎜🎜 3. 프로세스 정보 보기🎜🎜 프로세스 정보를 보려면 다음 명령을 사용하세요🎜🎜 jps, 스크린샷은 다음과 같습니다. 🎜🎜 🎜🎜🎜 이는 DataNode와 NameNode가 시작되었습니다🎜<p> 4. 웹 UI 보기</p>
<p> 관련 정보를 보려면 브라우저에 http://localhost:50070 을 입력하세요. 스크린샷은 다음과 같습니다. </p>
<p><img src="https://img.php.cn/upload/article/000/000/020/bfb5bc22f461fcb2beb87197aa100a4e-5.png" alt=""></p>
<p> 이제 hadoop 환경이 설정되었습니다. Hadoop을 사용하여 WordCount 예제를 실행해 보겠습니다. </p>
<p><strong> 8. WordCount 데모 실행 </strong></p>
<p> 1. 로컬에서 새 파일을 만듭니다. 작성자가 home/leesf 디렉터리에 새 단어 문서를 만들었습니다. 원하는 대로 내용을 채울 수 있습니다. </p>
<p> 2. 로컬 단어 문서를 업로드하기 위해 HDFS에 새 폴더를 만듭니다. hadoop2.7.1 디렉터리에 다음 명령을 입력합니다: </p>
<p> bin/hdfs dfs -mkdir /test, 이는 hdfs A의 루트 디렉터리에 생성됨을 의미합니다. 테스트 디렉터리</p>
<p> 다음 명령을 사용하여 HDFS 루트 디렉터리 아래 디렉터리 구조를 확인하세요</p>
<p> bin/hdfs dfs -ls /</p>
<p> 구체적인 스크린샷은 다음과 같습니다.</p>
<p> <img src="https://img.php.cn/upload/article/000/000/020/2d6b7ed9c222079a563098cea81e4d89-6.png" alt=""></p>
<p> 테스트 디렉터리가 생성되었음을 의미합니다. HDFS의 루트 디렉토리 </p>
<p> 3. 로컬 단어 문서를 테스트 디렉토리에 업로드</p>
<p> 업로드하려면 다음 명령을 사용하십시오: </p>
<p> bin/hdfs dfs -put /home/leesf/words /test/</p>
<p> 나 안으로 in in for the next words /test/</p>
<p> hdfs dfs -ls /test/</p>
<p> 결과 스크린샷은 다음과 같습니다. </p>
<p> <img src="https://img.php.cn/upload/article/000/000/020/2d6b7ed9c222079a563098cea81e4d89-7.png" alt=""></p>
<p> 로컬 단어 문서가 테스트 디렉토리에 업로드되었습니다. </p>
<p> 4. wordcount 실행</p>
<p> wordcount를 실행하려면 다음 명령을 사용하세요.</p>
<p> bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/words /test/out</p>
<p> 스크린샷은 다음과 같습니다. </p>
<p> <img src="https://img.php.cn/upload/article/000/000/020/2d6b7ed9c222079a563098cea81e4d89-8.png" alt=""></p>
<p> 작업이 완료되면 out이라는 파일이 /test 디렉터리에 생성됩니다. 다음 명령을 사용하여 /test 디렉터리의 파일을 확인하세요</p>
<p> bin/hdfs dfs - ls /test</p>
<p> 스크린샷은 다음과 같습니다.</p>
<p> <img src="https://img.php.cn/upload/article/000/000/020/9e4e133c94861b62bd546dbeb0c3b6b4-9.png" alt=""> </p>
<p> 테스트 디렉터리에 Out이라는 파일 디렉터리가 이미 있음을 나타냅니다</p>
<p> out 디렉터리의 파일을 보려면 다음 명령을 입력하세요. </p>
<p> bin/hdf 초 dfs -ls /test/out, 결과 스크린샷은 다음과 같습니다. </p>
<p> <img src="https://img.php.cn/upload/article/000/000/020/9e4e133c94861b62bd546dbeb0c3b6b4-10.png" alt=""></p> <p> 성공적으로 실행되었으며 결과가 part-r-00000에 저장되었음을 나타냅니다. </p>
<p> 5. 실행 결과 확인</p>
<p> 실행 결과를 확인하려면 다음 명령어를 사용하세요.</p>
<p> bin/hadoop fs -cat /test/out/part-r-00000</p>
<p> 결과 스크린샷은 다음과 같습니다</p>
<p> <img src="https://img.php.cn/upload/article/000/000/020/9e4e133c94861b62bd546dbeb0c3b6b4-11.png" alt=""> </p>
<p> 이 시점에서 실행 프로세스가 완료되었습니다. </p>
<p><strong>9. 요약</strong></p>
<p> 이번 hadoop 구성 과정에서 많은 문제가 발생했습니다. hadoop1.x와 2.x의 명령은 여전히 구성 과정에서 문제가 하나씩 해결되었습니다. , 많은 것을 얻었습니다. hadoop 환경을 구성하려는 정원사들의 편의를 위해 이 구성에 대한 경험을 공유하고 싶습니다. 구성 과정에서 궁금한 점이 있으면 언제든지 토론해 주세요. 시청하세요~</p>
<p> 추천 학습 : "<a href="https://www.php.cn/course/list/33.html" target="_blank">linux 비디오 튜토리얼</a>"</p>위 내용은 리눅스에 하둡을 설치하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!