リアルタイム データ送信: Flume と Kafka から選択する 2 つのソリューション

Flume と Kafka: リアルタイム データ送信のための 2 つのオプション

概要

Flume と Kafka はどちらもリアルタイム データ用のオープンソース プラットフォームです伝染 ; 感染。これらはすべて、高スループット、低遅延、および信頼性を備えています。ただし、その設計と実装にはいくつかの違いがあります。

Flume

Flume は、信頼性が高くスケーラブルな分散型ログ収集、集約、および送信システムです。ファイル、Syslog、Taildir、Exec、HTTP などの複数のデータ ソースをサポートします。 Flume は、テキスト、JSON、Avro などの複数のデータ形式もサポートしています。

Flume のアーキテクチャを以下の図に示します:

[写真]

Flume のコンポーネントには次のものが含まれます:

• 出典: ソース コンポーネントは、データ ソースからデータを収集する役割を果たします。
• チャネル: チャネル コンポーネントは、データの保存と送信を担当します。
• シンク: シンク コンポーネントは、ターゲット システムにデータを送信する役割を果たします。

Flume の構成ファイルは次のとおりです。

# Name the agent
a1.sources = r1

# Describe the source
r1.type = exec
r1.command = tail -F /var/log/messages

# Describe the sink
s1.type = hdfs
s1.hdfs.path = hdfs://namenode:8020/flume/logs

# Use a channel which buffers events in memory
c1.type = memory
c1.capacity = 1000
c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.channels = c1
c1.sinks = s1

Kafka

Kafka は、分散型、スケーラブル、フォールトトレラントなメッセージング システムです。テキスト、JSON、Avro などの複数のメッセージ形式をサポートします。 Kafka は、Java、Python、C、Go などの複数のクライアント言語もサポートしています。

Kafka のアーキテクチャを次の図に示します。

[図]

Kafka のコンポーネントは次のとおりです。

• プロデューサー: プロデューサー コンポーネントは、Kafka クラスターにデータを送信する役割を果たします。
• ブローカー: ブローカー コンポーネントは、データの保存と転送を担当します。
• Consumer: Consumer コンポーネントは、Kafka クラスターからデータを読み取る役割を担います。

Kafka の設定ファイルは次のとおりです:

# Create a topic named "my-topic" with 3 partitions and a replication factor of 2
kafka-topics --create --topic my-topic --partitions 3 --replication-factor 2

# Start a Kafka producer
kafka-console-producer --topic my-topic

# Start a Kafka consumer
kafka-console-consumer --topic my-topic --from-beginning

Comparison

Flume と Kafka は両方とも、リアルタイム データ送信のための優れたプラットフォームです。これらはすべて、高スループット、低遅延、および信頼性を備えています。ただし、その設計と実装にはいくつかの違いがあります。

Flume は、信頼性が高くスケーラブルな分散型ログ収集、集約、送信システムです。複数のデータ ソースとデータ形式をサポートします。 Flume の設定ファイルは理解しやすく、使いやすいです。

Kafka は、分散型、スケーラブル、フォールトトレラントなメッセージング システムです。複数のメッセージ形式とクライアント言語をサポートします。 Kafka の構成ファイルは比較的複雑であり、一定の学習コストが必要です。

結論

Flume と Kafka はどちらも、リアルタイム データ送信のための優れたプラットフォームです。これらはすべて、高スループット、低遅延、および信頼性を備えています。ただし、その設計と実装にはいくつかの違いがあります。

Flume は、ログの収集、集約、送信に適しています。 Kafka はメッセージングに適しています。

コード例

次は、Flume を使用してログを収集および送信するコード例です。

# Create a Flume agent
agent = AgentBuilder.newInstance().build()

# Create a source
source = ExecSourceBuilder.newInstance().setCommand("tail -F /var/log/messages").build()

# Create a channel
channel = MemoryChannelBuilder.newInstance().setCapacity(1000).setTransactionCapacity(100).build()

# Create a sink
sink = HDFSSinkBuilder.newInstance().setBasePath("hdfs://namenode:8020/flume/logs").build()

# Add the source, channel, and sink to the agent
agent.addSource("r1", source)
agent.addChannel("c1", channel)
agent.addSink("s1", sink)

# Start the agent
agent.start()

次は、Kafka を使用してメッセージを送受信するコード例です。 :

うわー

以上がリアルタイム データ送信: Flume と Kafka から選択する 2 つのソリューションの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。