hdfs 명령이 무엇입니까?

hdfs 명령은 Hadoop hdfs 시스템의 명령을 나타냅니다. 1. ls 명령, 3. rm 명령, 6. cp 명령; copyFromLocal 명령, 8. get 명령, 9. copyToLocal 명령, 등.

이 튜토리얼의 운영 환경: linux5.9.8 시스템, Dell G3 컴퓨터.

hdfs 명령이 무엇인가요?

은 Hadoop hdfs 시스템의 명령을 나타냅니다.

hdfs 시스템을 작동하려면 hadoop fs 또는 hdfs dfs를 사용할 수 있으며 둘 다 동일한 효과를 갖습니다. (hadoop dfs 명령은 더 이상 권장되지 않습니다)

Hadoop hdfs 시스템의 일부 일반적인 명령

1. hadoop fs (hdfs dfs) ​​​​파일 작업

• ls는 디렉터리의 모든 파일 또는 폴더를 표시합니다

사용법: hadoop fs -ls [uri 형식 디렉터리]

예: hadoop fs –ls / 루트 디렉터리의 모든 파일과 디렉터리를 표시합니다.

-R 옵션을 추가하여 디렉터리의 모든 파일을 표시할 수 있습니다

예: hadoop fs -ls -R /

• cat 파일 콘텐츠 보기

사용법: hadoop fs -cat URI [URI …]

예: hadoop fs -cat /in/test2.txt

• mkdir 만들기 디렉토리

사용법: hadoop fs -mkdir [uri 양식 디렉토리]

예: hadoop fs –mkdir /test

다단계 디렉토리 생성 + –p

예: hadoop fs –mkdir -p /a/ b /c

• rm 디렉터리 또는 파일 삭제

사용법: hadoop fs -rm [파일 경로] 폴더 삭제 plus -r

예: hadoop fs -rm /test1.txt

Delete 추가 - r을 폴더에

예: hadoop fs -rm -r /test

• put 파일을 복사합니다

파일을 hdfs 시스템에 복사하거나 표준 입력에서 읽습니다. 파일, 이때 dst는 파일입니다

사용법: hadoop fs -put b3e6245f968e4d335caa58a859ea3c39 ... 66f6480be339a60aa99e285cc7163a46

예:

Hadoop fs -put /usr/wisedu/temp/test1.txt /

표준 입력에서 파일 읽기: hadoop fs -put -/in/myword

• cp 시스템에서 파일 복사

사용법: hadoopfs -cp URI [URI …] 6be58d1426a577c69ada50a4bc87dd69

다음에서 파일 복사 소스 경로에서 대상 경로로. 이 명령은 여러 소스 경로를 허용하며, 이 경우 대상 경로는 디렉터리여야 합니다.

예:

hadoop fs -cp /in/myword/word

• copyFromLocal 로컬 파일을 hdfs

사용법: hadoop fs-copyFromLocal b3e6245f968e4d335caa58a859ea3c39 URI

소스 경로가 로컬 파일로 제한된다는 점을 제외하면 put 명령과 유사합니다.

• get 로컬 시스템에 파일 복사

사용법: hadoop fs -get[-ignorecrc] [-crc] cbce1a3cf2f839037583dce8e845670b 6f6ffa7fad51158d88c8ae6908c9872c CRC 검사에 실패한 파일은 -ignorecrc 옵션을 사용하여 복사할 수 있습니다. -crc 옵션을 사용하여 CRC 정보와 함께 파일을 복사합니다.

예: hadoop fs -get/word /usr/wisedu/temp/word.txt

copyToLocal 파일을 로컬 시스템에 복사
사용법: hadoop fs-copyToLocal [-ignorecrc] [-crc] URI 6f6ffa7fad51158d88c8ae6908c9872c

대상 경로가 로컬 파일로 제한된다는 점을 제외하면 get 명령과 유사합니다.

예: hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

mv
파일을 소스 경로에서 대상 경로로 이동합니다. 이 명령은 여러 소스 경로를 허용하며, 이 경우 대상 경로는 디렉터리여야 합니다. 서로 다른 파일 시스템 간에 파일을 이동하는 것은 허용되지 않습니다.

사용법: hadoop fs -mv URI [URI …] 6be58d1426a577c69ada50a4bc87dd69

예: hadoop fs -mv /in/test2.txt /test2.txt

du 표시 파일 크기
표시 디렉토리에 있는 모든 파일의 크기. O 사용 방법: Hadoop FS -DU URI [URI ...]

예: Hadoop FS -DU /

현재 디렉터리 또는 폴더의 크기를 표시합니다.

touchz 빈 파일을 만듭니다

사용법: hadoop fs -touchz URI [URI …]

• 0바이트의 빈 파일 만들기
  예: hadoop fs -touchz /empty.txt

chmod 변경 파일 권한

사용법: hadoop fs -chmod[-R] a022822f2b0fb3cf3c2fe0daa5dd3285 URI [URI …]

• Linux 플랫폼의 chmod 명령과 유사합니다. 파일 권한을 변경합니다. -R을 사용하면 디렉터리 구조를 통해 반복적으로 변경이 이루어집니다. 명령의 사용자는 파일의 소유자이거나 수퍼유저여야 합니다.

  예: 먼저 일반 사용자 test:sudo useradd -m test

  를 만든 다음wisedu 사용자를 사용하여 hdfs 시스템 디렉터리 /a에 hello.txt 파일을 만듭니다. 이때 test에는 /를 읽을 수 있는 권한이 있습니다. a/hello.txt 파일입니다. 아래와 같이

  切은 파일 권한을 수정하기 위해 WISEDU 사용자로 다시 전환하여 /A 디렉터리의 파일을 다른 사용자가 읽을 수 없도록 합니다. 명령: Hadoop FS -CHMOD - R O -R /A 아래 그림과 같이 다시 전환하여 다시 돌아오고, 다시 전환하여 다시 돌아갑니다. 테스트 사용자가 /a/hello.txt 파일을 보면 권한이 없다는 메시지가 표시됩니다.

  chown 파일 소유자 변경
  사용법: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI]

  파일 소유자를 변경합니다. -R을 사용하면 디렉터리 구조를 통해 반복적으로 변경이 이루어집니다. 명령 사용자는 수퍼유저여야 합니다.

  예: hadoop fs -chown -R test /a 아래와 같이:

  chgrp 파일이 있는 그룹을 변경합니다.
  사용법: hadoop fs -chgrp [-R] GROUP URI [URI …]

  파일이 속한 그룹을 변경합니다. -R을 사용하면 디렉터리 구조를 통해 반복적으로 변경이 이루어집니다. 명령의 사용자는 파일의 소유자이거나 수퍼유저여야 합니다.

  예: hadoop fs -chgrp -R test /a 아래와 같습니다.

  2.hdfs dfsadmin 관리 명령

  1) -report

  파일 시스템의 기본 정보 및 통계 정보를 확인합니다.

  예: hdfs dfsadmin -report

  2) -safemode

  enter | 휴가 | 대기: 안전 모드 명령. 안전 모드는 NameNode가 네임스페이스 블록에 대한 변경 사항을 허용하지 않는(읽기 전용) NameNode의 상태입니다. NameNode는 시작 시 자동으로 안전 모드에 진입합니다. 구성 블록의 최소 비율이 최소 복제본 수를 충족하면 자동으로 안전 모드를 종료합니다. Enter는 들어간다는 뜻이고, Leave는 나가라는 뜻이다.

  예: hdfs dfsadmin -safemode get

  hdfsdfsadmin -safemode enter

  3) -refreshNodes

  호스트를 다시 읽고 파일을 제외하여 새 노드 또는 클러스터를 종료해야 하는 노드를 NameNode에서 다시 식별할 수 있습니다. 노드를 추가하거나 등록을 취소할 때 사용되는 명령입니다.

  예: hdfs dfsadmin -refreshNodes

  4) -finalizeUpgrade

  최종 HDFS 업그레이드 작업입니다. DataNode는 이전 버전의 작업 디렉터리를 삭제하고 NameNode는 이후에도 동일한 작업을 수행합니다.

  5) -upgradeProgress

  상태 | 강제: 현재 시스템의 업그레이드 상태 요청 | 업그레이드 작업 강제 실행

  6) -metasave 파일 이름

  hadoop.log.dir 속성에 의해 지정된 디렉토리의 2334ac29606bf8a170583e4f7533b1f4

  7) -setQuota91363e4d07f5c5dd93a0d7aa611d90c0635058c94e19ffeddfb72b34fa0e8ce3......635058c94e19ffeddfb72b34fa0e8ce3

  각 디렉토리 635058c94e19ffeddfb72b34fa0e8ce3에 대해 할당량91363e4d07f5c5dd93a0d7aa611d90c0을 설정합니다. 디렉터리 할당량은 디렉터리 트리 아래의 이름 수가 설정되도록 하는 긴 정수입니다.

  8) -clrQuota635058c94e19ffeddfb72b34fa0e8ce3…635058c94e19ffeddfb72b34fa0e8ce3

  각 디렉토리 635058c94e19ffeddfb72b34fa0e8ce3에 대한 할당량 설정을 지웁니다.

  9) -help

  도움말 정보 표시

  관련 지식은

  FAQ

  칼럼을 통해 확인해주세요!

위 내용은 hdfs 명령이 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!