데비안 하프 로그를 보는 방법

이 기사에서는 데비안 시스템에서 Hadoop 로그를 효율적으로 볼 수있는 방법을 소개합니다. Hadoop의 로그 집계 기능은 쉽게 관리 할 수 ​​있도록 각 노드의 로그를 중앙에 저장합니다. 다음 단계는 이러한 로그를 보는 방법을 안내합니다.

1 단계 : 로그 집계가 활성화되어 있는지 확인하십시오

먼저 Hadoop 클러스터의 모든 노드에 대해 Log Aggregation이 활성화되어 있는지 확인하십시오. 일반적으로 yarn-site.xml 구성 파일에서 구성됩니다.

<property>
  <name>원사</name>
  <value>진실</value>
</property>
<property>
  <name>yarn.log-aggregation.reatain-seconds</name>
  <value>172800</value>
</property>
<property>
  <name>yarn.nodemanager.remote-app-log-dir</name>
  <value>/tmp/logs</value>
</property>
<property>
  <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
  <value>로그</value>
</property>
<property>
  <name>yarn.log.server.url</name>
  <value>http : // hadoop-node0 : 19888/jobhistory/logs</value>
</property>

2 단계 : 웹 UI를 통해 로그에 액세스합니다

로그 집계 후 Hadoop의 ResourceManager Web UI 또는 Job History Server Web UI를 통해 로그를 볼 수 있습니다.

• Resourcemanager Web UI : 기본 주소는 http://<resourcemanager-hostname> :8088/cluster/apps/FINISHED</resourcemanager-hostname> 입니다. http://<resourcemanager-hostname> :8088/cluster/apps/FINISHED</resourcemanager-hostname> .
• Job History Server Web UI : 기본 주소는 http://<jobhistory-server-hostname> :19888/jobhistory</jobhistory-server-hostname> 입니다. http://<jobhistory-server-hostname> :19888/jobhistory</jobhistory-server-hostname> .

3 단계 : 명령 줄 도구를 사용하여 로그를보십시오.

HDFS에서 직접 로그를 읽어야하는 경우 hdfs dfs 명령을 사용할 수 있습니다.

 hdfs dfs -cat/path/to/logs/*

4 단계 : 텍스트 편집기를 사용하여 로그를 볼 수 있습니다.

모든 텍스트 편집기 (예 : nano , vim )를 사용하여 로그 파일을 열고 볼 수 있습니다.

 sudo nano/path/to/logs/application-<application-id> -컨테이너-<container-id> .통나무</container-id></application-id>

로그 파일 경로 및 URL은 Hadoop 클러스터 구성에 따라 다를 수 있습니다. 정확한 경로는 Hadoop 클러스터 구성 파일을 참조하십시오.

위 내용은 데비안 하프 로그를 보는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!