CentOSにApache Hadoopをインストール！-Linux-php.cn

ホームページ

システムチュートリアル

Linux

CentOSにApache Hadoopをインストール！

PHPz

Jan 07, 2024 am 09:14 AM

linuxLinuxチュートリアルレッドハットLinuxシステムLinuxコマンドLinux 認定レッドハットリナックスLinuxビデオ

＃＃＃導入＃＃＃ Apache Hadoop ソフトウェアライブラリは、単純なプログラミングモデルを使用して、コンピュータークラスター上で大規模なデータセットの分散処理を可能にするフレームワークです。 Apache™ Hadoop® は、信頼性が高く、スケーラブルな分散コンピューティングのためのオープンソースソフトウェアです。プロジェクトには次のモジュールが含まれています:

Hadoop Common: 他の Hadoop モジュールをサポートする共通ツール。

Hadoop 分散ファイルシステム (HDFS™): アプリケーションデータへの高スループットアクセスのサポートを提供する分散ファイルシステム。
Hadoop YARN: ジョブスケジューリングおよびクラスターリソース管理フレームワーク。
Hadoop MapReduce: 大規模なデータセット用の YARN ベースの並列処理システム。

Javaのインストール

Hadoop をインストールする前に、Java がシステムにインストールされていることを確認してください。このコマンドを使用して、インストールされている Java のバージョンを確認します。リーリー

Java をインストールまたは更新するには、以下の段階的な手順を参照してください。

最初のステップは、Oracle 公式 Web サイトから Java の最新バージョンをダウンロードすることです。

リーリー

Java の新しいバージョンを代替として使用するにはセットアップが必要です。これを行うには、次のコマンドを使用します。

リーリー

ここで、javac および jar コマンドパスを設定するために、alternatives コマンドを使用する必要がある場合もあります。

リーリー

次のステップは、環境変数を構成することです。これらの変数を正しく設定するには、次のコマンドを使用します。

JAVA_HOME変数を設定します:

リーリー

JRE_HOME 変数を設定します:

リーリー

PATH 変数を設定します:

リーリー

Apache Hadoop をインストールする

Java 環境をセットアップした後。 Apache Hadoop のインストールを開始します。

最初のステップは、Hadoop インストール用のシステムユーザーアカウントを作成することです。

リーリー

次に、ユーザー hadoop の ssh キーを構成する必要があります。次のコマンドを使用して、パスワードなしの ssh ログインを有効にします。

リーリー

次に、Hadoop の利用可能な最新バージョンを公式 Web サイト hadoop.apache.org からダウンロードします。

リーリー

次のステップは、Hadoop で使用される環境変数を設定することです。

~/.bashrc を編集し、ファイルの末尾に次の値を追加します。

リーリー

現在の実行環境に変更を適用します。

リーリー

$HADOOP_HOME/etc/hadoop/hadoop-env.sh を編集し、JAVA_HOME 環境変数を設定します。

リーリー

次に、基本的な Hadoop シングルノードクラスターの構成から始めます。

まず、Hadoop 構成ファイルを編集し、次の変更を加えます。

リーリー

core-site.xml を編集しましょう。

リーリー

次に、hdfs-site.xml を編集します:

リーリー

そして、mapred-site.xml を編集します:

リーリー

最終編集yarn-site.xml:

リーリー

次のコマンドを使用して、namenode をフォーマットします:

リーリー

すべての Hadoop サービスを開始するには、次のコマンドを使用します:

リーリー

すべてのサービスが正常に起動するかどうかを確認するには、jps コマンドを使用します。

リーリー

次のような出力が表示されるはずです。

リーリー

これで、ブラウザで Hadoop サービスにアクセスできるようになります: http://your-ip-address:8088/。

CentOS 上安装 Apache Hadoop! ハドゥープ

以上がCentOSにApache Hadoopをインストール！の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明

この記事はLinux就该这么学で複製されています。侵害がある場合は、admin@php.cn までご連絡ください。

Linux管理者の給与はいくらですか？Apr 17, 2025 am 12:24 AM

Linux管理者の平均年salは、米国で75,000〜95,000ドル、ヨーロッパでは40,000〜60,000ユーロです。給与を増やすには、次のことができます。1。クラウドコンピューティングやコンテナテクノロジーなどの新しいテクノロジーを継続的に学習します。 2。プロジェクトの経験を蓄積し、ポートフォリオを確立します。 3.プロフェッショナルネットワークを確立し、ネットワークを拡大します。

Linuxの主な目的は何ですか？Apr 16, 2025 am 12:19 AM

Linuxの主な用途には、1。Serverオペレーティングシステム、2。EmbeddedSystem、3。Desktopオペレーティングシステム、4。開発およびテスト環境。 Linuxはこれらの分野で優れており、安定性、セキュリティ、効率的な開発ツールを提供します。

インターネットはLinuxで実行されますか？Apr 14, 2025 am 12:03 AM

インターネットは単一のオペレーティングシステムに依存していませんが、Linuxはその上で重要な役割を果たしています。 Linuxは、サーバーやネットワークデバイスで広く使用されており、安定性、セキュリティ、スケーラビリティに人気があります。

Linux操作とは何ですか？Apr 13, 2025 am 12:20 AM

Linuxオペレーティングシステムのコアは、コマンドラインインターフェイスで、コマンドラインを介してさまざまな操作を実行できます。 1.ファイルおよびディレクトリ操作は、ファイルとディレクトリを管理するために、LS、CD、MKDIR、RM、その他のコマンドを使用します。 2。ユーザーおよび許可管理は、useradd、passwd、chmod、その他のコマンドを介してシステムのセキュリティとリソースの割り当てを保証します。 3。プロセス管理は、PS、Kill、およびその他のコマンドを使用して、システムプロセスを監視および制御します。 4。ネットワーク操作には、Ping、Ifconfig、SSH、およびネットワーク接続を構成および管理するためのその他のコマンドが含まれます。 5.システムの監視とメンテナンスは、TOP、DF、DUなどのコマンドを使用して、システムの動作ステータスとリソースの使用を理解します。

Linuxエイリアスを使用したカスタムコマンドショートカットで生産性を高めますApr 12, 2025 am 11:43 AM

導入 Linuxは、柔軟性と効率性により、開発者、システム管理者、およびパワーユーザーが好む強力なオペレーティングシステムです。しかし、頻繁に長く複雑なコマンドを使用することは退屈でERです

Linuxは実際に何に適していますか？Apr 12, 2025 am 12:20 AM

Linuxは、サーバー、開発環境、埋め込みシステムに適しています。 1.サーバーオペレーティングシステムとして、Linuxは安定して効率的であり、多くの場合、高電流アプリケーションの展開に使用されます。 2。開発環境として、Linuxは効率的なコマンドラインツールとパッケージ管理システムを提供して、開発効率を向上させます。 3.埋め込まれたシステムでは、Linuxは軽量でカスタマイズ可能で、リソースが限られている環境に適しています。