hadoop 클러스터 서버 설치 및 구성 튜토리얼(그림 및 텍스트)

이 기사의 내용은 Hadoop 클러스터 서버의 설치 ​​및 구성 튜토리얼(그림 및 텍스트)에 대한 것입니다. 필요한 친구가 참고할 수 있기를 바랍니다.

가상머신과 리눅스 시스템의 설치는 앞선 두 번의 공유에서 자세히 소개했고, 각 단계는 그림으로 설명했습니다. 아직도 이해하지 못하는 친구들이 있다면 제가 도와드릴 수 있는 방법이 없습니다. 이번 글에서는 주로 Hadoop 서버 운영체제의 구성에 대해 자세히 설명하고 있으며, Hadoop 설치에 대해서는 다음 글에서 자세히 소개하겠습니다.
hadoop 설치 패키지는 DKHadoop 배포판을 사용합니다. 개인적으로 DKHadoop의 설치 과정은 비교적 간단하다고 생각합니다. dkhadoop 설치 방법은 다음 공유에서 자세히 소개하겠습니다. 이번 글의 주제로 넘어가겠습니다 - 서버 운영 체제 구성 튜토리얼

1. 설치 패키지 준비
1. 가상 머신 분산 설치(3개 이상의 가상 머신)
개인용 컴퓨터인 경우 Windows 시스템 또는 Linux 시스템과 가상 머신의 가상 서버 3개를 설치하려면 설치 패키지를 서버에 복사하고 설치 작업을 수행합니다.
2. 물리적 클러스터(물리적 서버 3개 이상)
1. 외부 네트워크 다운로드 모드
2. 로컬 파일 모드
설치 패키지 파일을 물리적 서버의 루트 디렉터리에 직접 복사하여 설치 작업을 수행합니다.
3.업로드 모드
서버가 컴퓨터실에 있고 디스플레이 및 입력 장치가 없는 경우에 적용되는 모드입니다.
이제 로컬 컴퓨터(기본값은 노트북, 컴퓨터실)에 파일을 설치하고 컴퓨터를 서버에 연결한 후 설치 패키지 install 및 DKHInstall을 서버 루트 디렉터리에 업로드합니다.

2. 서버 운영 체제 구성 튜토리얼
준비가 완료되면 먼저 서버 3개가 서로 ping을 수행해야 합니다. 소위 핑은 두 장치 간의 네트워크가 연결되었음을 의미합니다. 데이터 패킷이 한쪽 끝에서 전송되고 다른 쪽 끝에서 수신되면 두 장치가 ping을 수행할 수 있음을 의미합니다.
1. 권한 수정
목적: 두 설치 패키지를 설치하고 DKHInstall에 실행 권한을 부여합니다. 일부 작업을 수행할 수 있는 권한이 부족합니다. 설치 내부에는 스크립트와 모든 구성 요소가 있고 DKHInstall 내부에는 설치 인터페이스가 있습니다.
단계: 준비 과정에서 설치 패키지 install 및 DKHInstall을 메인 노드 디렉터리에 복사한 후 파일 권한을 수정합니다. 먼저 루트 디렉터리에 들어가서 설치 디렉터리인 install 및 DKHInstall의 권한을 파일 소유자가 읽고, 쓰고, 실행할 수 있도록 변경하고, 파일 소유자와 동일한 사용자 그룹에 속한 다른 사용자는 읽고 실행할 수 있도록 변경합니다. 다른 사용자 그룹은 읽고 실행할 수 있습니다.
명령어:
cd /root/
unzip DKHPlantform.zip
chmod -R 755 DKHPlantform

2. Hadoop 클러스터를 구축하고 SSH 비밀번호 없는 로그인을 설정하세요.
목적: Hadoop을 실행하는 동안 원격 관리가 필요합니다. Hadoop 데몬 프로세스. Hadoop이 시작된 후 NameNode는 SSH(Secure Shell)를 통해 각 DataNode에서 다양한 데몬 프로세스를 시작하고 중지합니다. 이를 위해서는 노드 간 명령을 실행할 때 비밀번호를 입력할 필요가 없으므로 비밀번호 없는 공개 키 인증을 사용하도록 SSH를 구성해야 합니다. 그래야 NameNode가 SSH를 사용하여 비밀번호 없이 로그인하고 DataName 프로세스를 시작할 수 있습니다. DataNode에서도 동일한 원칙을 따릅니다. SSH를 사용하여 비밀번호 없이 NameNode에 로그인할 수도 있습니다.
단계:
(1) 로컬 호스트 파일을 수정하고 해당 관계를 작성합니다.
LAN에서 각 호스트를 구별하기 위해 호스트에 호스트 이름을 할당하고 각 호스트는 IP를 통해 통신하지만 IP 주소는 기억하기 불편하므로 호스트 이름과 IP 매핑을 구성하면 호스트 간에 빠르고 편리하게 액세스할 수 있습니다.
명령어:
vi /etc/hosts
키보드에서 insert 또는 I 키를 눌러 편집 모드로 들어갑니다. 편집 후 Esc 키를 누른 다음 Shift+: 키를 누르고 wq를 입력하고 Enter를 눌러 저장합니다. q를 입력하세요! 저장을 포기하고 종료하려면 Enter를 누르십시오. 편집 모드로 들어간 후 규칙에 따라 호스트와 IP 사이의 해당 관계를 작성하십시오(호스트 이름 dk41은 아래와 같이 사용자 이름으로 지정됩니다). 예:

   192.168.1.41    dk41

192.168. 1.42 dk42

192.168.1.43 dk43

수정 후 저장하고 종료합니다. 해당 관계를 두 개 이상의 다른 시스템에 복사합니다.

명령:
scp -r /etc/hosts 192.168.1.42:/etc
scp -r /etc/hosts 192.168.1.43:/etc
(2) 클러스터 간 비밀번호 프리를 수행하기 전 준비 사항
sshpass.sh 스크립트 실행 sshhosts 및 sshslaves 두 파일을 읽고,
sshhosts 파일을 수정하고, 모든 시스템의 호스트 이름을 한 줄에 하나씩 입력합니다(아래 참조).
명령:
vi /root/DKHPlantform/autossh/sshhosts
입력 편집 모드에서는 키보드의 insert 또는 I 키를 누릅니다. 편집 후 Esc 키를 누른 다음 Shift+: 키를 누르고 wq를 입력한 후 Enter를 눌러 저장합니다. q를 입력하세요! 저장을 포기하고 종료하려면 Enter를 누르세요.

sshslaves 파일을 수정하고 호스트 이름을 제외한 모든 시스템 이름을 작성합니다(아래 참조).
명령:
vi /root/DKHPlantform/autossh/sshslaves
키보드의 insert 또는 I 키를 눌러 입력 편집 중 모드에서는 편집이 완료된 후 Esc 키를 누른 다음 Shift+: 키를 누르고 wq를 입력한 다음 Enter를 눌러 저장합니다. q를 입력하세요! 저장을 포기하고 종료하려면 Enter를 누르세요.

(3) 클러스터 비밀번호 없는 작업 실행
명령:
cd /root/DKHPlantform/autossh
./autossh 마스터 노드 호스트 이름 클러스터 비밀번호
예: . /autossh dk41 123456
(4) 방화벽 끄기
서버 접속 시 특정 서비스가 차단되는 것을 방지하려면 방화벽을 꺼야 합니다.
명령:
cd /root/DKHPlantform/autossh
./offIptables.sh

3. 이중 머신 핫 백업 MySQL 설치
목적: Hive 메타데이터 저장
단계:
(1) 마스터에서 노드는 mySQL 설치 디렉터리를 두 번째 노드에 배포합니다.
명령:
scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/
(2) 마스터 노드 실행:
명령:                                        |
노드에서 실행:
명령:
cd /root/mysqlInst/
./mysql.sh 2

(3) 성공적인 실행 후 핫 백업을 수행합니다(두 머신 모두에서 실행해야 하며, 두 IP 교환 모두에서 실행해야 하며 위에 42를 씁니다. 41, 42 위에 41을 쓰세요. 비밀번호는 MySQL: 123456입니다. 플랫폼에 설정되어 있으므로 수정하지 마세요.):

명령:

source /etc/profile
./sync.sh 192.168.1.xxx ( 다른 mysql 주소)
4. 데이터베이스 만들기
목적: MySQL은 관계형 데이터베이스 관리 시스템입니다. 관계형 데이터베이스는 데이터를 다른 테이블에 저장하여 속도와 유연성을 높입니다.
단계:
(1) MySQL 데이터 테이블을 가져와서 기본 노드에서만 실행합니다.
명령:
mysql -uroot -p123456 예: mysql - uroot -p123456 /DKHPlantform/dkh.sql
(2) 실행 후 두 mysql 테이블의 데이터 테이블이 존재하는지 확인하고 마스터 노드에서 확인하고 실행합니다.
명령:
mySQL -uroot -p123456
show Databases ;
use dkh;
show tables;

5. 설치 시작

목적: 서버 구성 작업이 완료된 후 DKH를 시작합니다.

단계: 다음 명령을 실행합니다.
명령어:
cd /root/DKHPlantform/dkh-tomcat*/bin/
./startup.sh
6. 로컬 시간 서버 구축 단계
인터넷에 연결되어 있지 않거나 시스템 설치 시 시간이 동기화되지 않는 경우 로컬 시간 서버를 구축해야 합니다.
(1) 인트라넷의 ntp 서버 구축
Modify /etc/ntp.conf
명령:
Vim /etc/ntp.conf
키보드의 insert 또는 I 키를 눌러 편집 모드로 들어갑니다. Esc 키를 누른 다음 Shift+: 키를 누르고 wq를 입력한 다음 Enter를 눌러 저장합니다. q를 입력하세요! 저장을 포기하고 종료하려면 Enter를 누르세요.
다음 세 줄을 수정하세요.

server 0.centos.pool.ntp.org

server 1.centos.pool.ntp.org

server 2.centos.pool.ntp .org

파일 끝에 다음 두 줄을 추가합니다.

server 127.127.1.0

fudge 127.127.1.0stratum 10
(2) ntp service 시작
service ntpd start
(3) boot
chkconfig에서 자동으로 시작 ntpd on
(4) 클라이언트 동기화 시간
명령:
Vim /etc/ntp.conf
키보드의 insert 또는 I 키를 눌러 편집 모드로 들어갑니다. 편집 후 Esc 키를 누른 다음 Shift+: 키를 누릅니다. , wq를 입력한 다음 반환합니다. 자동차를 저장할 수 있습니다. q를 입력하세요! 저장을 포기하고 종료하려면 Enter를 누르세요.
파일 끝에 줄을 추가하세요:

/15
* root ntpdate 192.168.27.35;hwclock -w

위 내용은 hadoop 클러스터 서버 설치 및 구성 튜토리얼(그림 및 텍스트)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!