一般的な Hadoop エラーとその対処方法の詳細な説明_PHP チュートリアル
- WBOYオリジナル
- 2016-07-21 15:05:361018ブラウズ
1. hadoop-root-datanode-master.log に次のエラーがあります:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatibility namespaceIDs in
の原因開始するデータノード No.
理由: namenode 形式が namenodeId を再作成するたびに、dfs.data.dir パラメーターによって構成されたディレクトリには、最後の形式によって作成された ID が含まれており、これは dfs.name によって構成されたディレクトリ内の ID と一致しません。 .dir パラメータ。 namenode 形式は、namenode の下のデータをクリアしますが、datanode の下のデータはクリアしないため、起動時にエラーが発生します。必要なのは、各 fotmat の前に dfs.data.dir パラメーターで構成されたディレクトリをクリアすることだけです。 hdfs をフォーマットするコマンド
2. データノードがネームノードに接続できない場合、データノードは起動できません。
エラー org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: ... への呼び出しがローカル例外で失敗しました: java.net.NoRouteToHostException: ホストへのルートがありません ファイアウォールをオフにしてください
3. ローカルから hdfs ファイル システムにファイルをアップロードすると、次のエラーが発生します:
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLinkINFO hdfs.DFSClient: Abandoning block blk_- 1300529705803292651_37023
警告 hdfs.DFSClient: DataStreamer Exception: java.io.IOException: 新しいブロックを作成できません。
解決策:
ファイアウォールをオフにします:
/etc/selinux/config ファイルを編集し、「SELINUX=disabled」を設定します
4. セーフモードによるエラー
org.apache.hadoop.dfs.SafeModeException: 削除できません...、名前ノードはセーフモードです 分散ファイルシステムが起動すると、最初はセーフモードになります。分散ファイル システムがセーフ モードの場合、セーフ モードが終了するまでファイル システムの内容を変更または削除することはできません。セーフ モードは主に、システムの起動時に各データノード上のデータ ブロックの有効性をチェックし、ポリシーに従って必要に応じて一部のデータ ブロックをコピーまたは削除するために使用されます。実行時にコマンドを使用してセーフ モードに移行することもできます。実際には、システムの起動時、ファイルの変更または削除時に、セーフ モードでは変更が許可されていないというエラー メッセージが表示され、しばらく待つだけで済みます。