首頁  >  文章  >  Java  >  常用的Kafka主題創建指令

常用的Kafka主題創建指令

王林
王林原創
2024-02-01 08:04:23862瀏覽

常用的Kafka主題創建指令

1. 使用命令列建立主題

kafka-topics --create --topic test --partitions 3 --replication-factor 2

此命令將建立一個名為「test」的主題,該主題具有3 個分區和2 個副本因子。這意味著資料將在 2 個不同的代理程式上複製 3 次,以確保冗餘和高可用性。

2. 使用Java API 建立主題

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
AdminClient adminClient = AdminClient.create(props);

NewTopic topic = new NewTopic("test", 3, (short) 2);
adminClient.createTopics(Arrays.asList(topic));

此程式碼將建立一個名為「test」的主題,該主題具有3 個分割區和2 個副本因子。

3. 使用Python API 建立主題

from kafka import KafkaAdminClient

admin_client = KafkaAdminClient(bootstrap_servers="localhost:9092")

topic_list = [
    kafka.admin.NewTopic(name="test", num_partitions=3, replication_factor=2)
]

admin_client.create_topics(new_topics=topic_list, validate_only=False)

此程式碼將建立一個名為「test」的主題,該主題具有3 個分割區和2 個副本因子。

4. 使用REST API 建立主題

curl -X POST -H "Content-Type: application/json" -d '{"name": "test", "partitions": 3, "replication_factor": 2}' http://localhost:8083/topics

此指令將建立一個名為「test」的主題,該主題具有3 個分割區和2 個副本因子。

5. 使用 Kafka UI 建立主題

  1. #開啟 Kafka UI,網址為 http://localhost:8083。
  2. 點選「主題」標籤。
  3. 點選「建立主題」按鈕。
  4. 在「名稱」欄位中,輸入主題的名稱。
  5. 在「分區數」欄位中,輸入分區數。
  6. 在「副本因子」欄位中,輸入副本因子。
  7. 點選「建立」按鈕。

主題將被創建,您將在主題清單中看到它。

其他選項

除了上述方法之外,您還可以使用下列選項建立主題:

  • 使用[Kafka REST Proxy] (https://kafka.apache.org/documentation/#rest_proxy)
  • 使用[Kafka Python Package](https://github.com/dpkp/kafka-python)
  • 使用[Kafka Go Package](https://github.com/Shopify/sarama)
  • 使用[Kafka Node.js Package](https://github.com/segmentio/kafka-node)

注意事項

  • 在建立主題時,您需要確保主題名稱是唯一的。
  • 您還必須確保分區數和副本因子與您的應用程式需求相容。
  • 如果您建立了一個具有大量分割區的主題,則可能會遇到效能問題。
  • 如果您建立了一個具有大量副本因子的主題,則可能會增加儲存開銷。

以上是常用的Kafka主題創建指令的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn