Kafka ツールの基本操作を学習するための重要なガイド

Kafka ツールの基本操作チュートリアル

はじめに

Apache Kafka は分散ストリーム処理です大量のデータをリアルタイムに処理できるプラットフォーム。高スループット、低遅延、耐障害性などの特徴を持ち、ログ収集、データ分析、機械学習などの分野で広く利用されています。

インストール

Kafka のインストールは非常に簡単です。操作については公式ドキュメントを参照してください。一般に、Kafka インストール パッケージをダウンロードし、解凍して起動するだけで済みます。

基本概念

Kafka を使用する前に、いくつかの基本概念を理解する必要があります:

• トピック: トピックKafka のデータの論理的なグループ化であり、データベースのテーブルと同様です。
• パーティション: パーティションはトピックの物理パーティションであり、各パーティションは独立したストレージ ユニットです。
• プロデューサー: プロデューサーは、トピックにデータを送信するクライアントです。
• コンシューマ: コンシューマは、トピックからデータを受信するクライアントです。
• ブローカー: ブローカーは Kafka クラスター内のサーバーであり、データの保存と処理を担当します。

基本操作

トピックの作成

bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 2

上記のコマンドは、「test」トピックという名前のトピックを作成します。 、このトピックには 3 つのパーティションがあり、各パーティションには 2 つのコピーがあります。

トピックにデータを送信

bin/kafka-console-producer.sh --topic test

上記のコマンドを実行すると、送信するデータを入力して Enter キーを押して送信できるコンソールが開きます。

トピックからデータを受信する

bin/kafka-console-consumer.sh --topic test --from-beginning

上記のコマンドによりコンソールが開き、トピックから受信したデータを確認できます。

高度な操作

プロデューサー プロパティの設定

bin/kafka-producer-perf-test.sh --topic test --num-records 100000 --record-size 100 --producer-props acks=all batch.size=16384 buffer.memory=33554432 key.serializer=org.apache.kafka.common.serialization.StringSerializer value.serializer=org.apache.kafka.common.serialization.StringSerializer

上記のコマンドはプロデューサーを作成し、確認を含むいくつかのプロパティを設定します。メカニズム、バッチサイズ、バッファサイズなど。

コンシューマ プロパティの設定

bin/kafka-consumer-perf-test.sh --topic test --num-consumers 1 --messages-per-consumer 100000 --consumer-props group.id=test auto.offset.reset=earliest enable.auto.commit=false key.deserializer=org.apache.kafka.common.serialization.StringDeserializer value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

上記のコマンドはコンシューマを作成し、グループ ID、自動オフセット リセット ポリシー、自動送信メカニズム待機などのいくつかのプロパティを設定します。

障害処理

Kafka は、障害を自動的に処理できる高可用性システムです。ブローカーに障害が発生すると、Kafka はデータを他のブローカーに自動的にコピーします。プロデューサーまたはコンシューマーに障害が発生すると、Kafka はデータを自動的に再送信または再受信します。

概要

Kafka は、強力で使いやすいストリーム処理プラットフォームです。高スループット、低遅延、耐障害性などの特徴を持ち、ログ収集、データ分析、機械学習などの分野で広く利用されています。この記事では、Kafka の基本概念、基本操作、応用操作について紹介しますので、ご参考になれば幸いです。

以上がKafka ツールの基本操作を学習するための重要なガイドの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。