Comment afficher les journaux Debian Hadoop

Cet article présente comment afficher efficacement les journaux Hadoop dans le système Debian. La fonction d'agrégation de journaux de Hadoop stocke les journaux de chaque nœud pour une gestion facile. Les étapes suivantes vous guideront sur la façon de voir ces journaux:

Étape 1: Assurez-vous que l'agrégation du journal est activée

Tout d'abord, confirmez que l'agrégation de journaux est activée pour tous les nœuds du cluster Hadoop. Ceci est généralement configuré dans yarn-site.xml :

<property>
  <name>yarn.log-agregation-inable</name>
  <value>vrai</value>
</property>
<property>
  <name>yarn.log-agregation.</name>
  <value>172800</value>
</property>
<property>
  <name>yarn.nodeManager.remote-app-lig-dir</name>
  <value>/ tmp / journaux</value>
</property>
<property>
  <name>yarn.nodeManager.remote-app-log-dir-suuffix</name>
  <value>bûches</value>
</property>
<property>
  <name>yarn.log.server.url</name>
  <value>http: // hadoop-node0: 19888 / jobhistory / journaux</value>
</property>

Étape 2: Accédez aux journaux via l'interface utilisateur Web

Après l'agrégation de journaux, vous pouvez afficher les journaux via l'interface utilisateur Web ResourceMeager de Hadoop ou l'interface utilisateur du serveur d'historique de travail:

• ResourceManager Web UI: L'adresse par défaut est http://<resourcemanager-hostname> :8088/cluster/apps/FINISHED</resourcemanager-hostname> .
• Interface Web de serveur d'historique de travail: L'adresse par défaut est http://<jobhistory-server-hostname> :19888/jobhistory</jobhistory-server-hostname> .

Étape 3: Utilisez l'outil de ligne de commande pour afficher le journal

Si vous avez besoin de lire les journaux directement à partir de HDFS, vous pouvez utiliser la commande hdfs dfs :

 HDFS DFS -CAT / PATH / TO / LOGS / *

Étape 4: Utilisez un éditeur de texte pour afficher le journal

Vous pouvez ouvrir et afficher les fichiers journaux à l'aide de n'importe quel éditeur de texte (comme nano , vim ):

 sudo nano / path / to / logs / application-<application-id> -récipient-<container-id> .enregistrer</container-id></application-id>

Notez que les chemins de bord journalière et les URL peuvent varier en fonction de la configuration du cluster Hadoop. Veuillez vous référer à votre fichier de configuration de cluster Hadoop pour le chemin exact.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!