Debian Hadoopログを表示する方法

この記事では、DebianシステムでHadoopログを効率的に表示する方法を紹介します。 Hadoopのログ集約関数は、各ノードのログを中央に保存して、簡単に管理します。次の手順では、これらのログを表示する方法について説明します。

ステップ1：ログ集約が有効になっていることを確認してください

まず、Hadoopクラスター内のすべてのノードでログ集約が有効になっていることを確認します。これは通常、 yarn-site.xml構成ファイルで構成されています。

<property>
  <name>yarn.log-aggregation-enable</name>
  <value>真実</value>
</property>
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>172800</value>
</property>
<property>
  <name>Yarn.NodeManager.Remote-App-Log-Dir</name>
  <value>/TMP/ログ</value>
</property>
<property>
  <name>Yarn.NodeManager.Remote-App-Log-Dir-Suffix</name>
  <value>ログ</value>
</property>
<property>
  <name>Yarn.log.server.url</name>
  <value>http：// hadoop-node0：19888/jobhistory/logs</value>
</property>

ステップ2：Web UIを介してログにアクセスします

ログ集約後、HadoopのResourceManager Web UIまたはJob History Server Web UIを介してログを表示できます。

• ResourceManager Web UI：デフォルトのアドレスはhttp://<resourcemanager-hostname> :8088/cluster/apps/FINISHED</resourcemanager-hostname>ですhttp://<resourcemanager-hostname> :8088/cluster/apps/FINISHED</resourcemanager-hostname> 。
• Job History Server Web UI：デフォルトのアドレスはhttp://<jobhistory-server-hostname> :19888/jobhistory</jobhistory-server-hostname>ですhttp://<jobhistory-server-hostname> :19888/jobhistory</jobhistory-server-hostname> 。

ステップ3：コマンドラインツールを使用してログを表示します

HDFSから直接ログを読む必要がある場合は、 hdfs dfsコマンドを使用できます。

 hdfs dfs -cat/path/to/logs/*

ステップ4：テキストエディターを使用してログを表示します

任意のテキストエディター（ nano 、 vimなど）を使用してログファイルを開いて表示できます。

 sudo nano/path/to/logs/application-<application-id> -容器-<container-id> 。ログ</container-id></application-id>

ログファイルパスとURLは、Hadoopクラスターの構成によって異なる場合があることに注意してください。正確なパスについては、Hadoopクラスター構成ファイルを参照してください。

以上がDebian Hadoopログを表示する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。