主题分区是kafka水平扩展核心，扩容需先增分区再增消费者；分区数≤消费者数则新增无效，数据倾斜需排查key分布；扩分区支持在线操作但不可缩减，须保障副本均衡。
主题分区是 Kafka 实现水平扩展的核心单元。当业务数据量暴增、消费 lag 持续上升时，仅靠增加消费者实例往往不够——关键前提得是分区数足够支撑并发消费。动态扩容需分两步走：先扩分区（必要前提），再扩消费者（直接见效），二者配合才能真正释放吞吐能力。
确认当前分区是否成为瓶颈
执行以下命令查看目标 Topic 的分区分布和消费者组 lag：
kafka-topics.sh --describe --topic your-topic --bootstrap-server broker:9092kafka-consumer-groups.sh --bootstrap-server broker:9092 --group your-group --describe
重点关注两点：
- 若 分区数 ≤ 当前消费者实例数，新增消费者不会提升消费并行度，只会闲置；
- 若某几个分区的 LAG 远高于其他分区（数据倾斜），说明分区策略或 Key 分布不合理，需同步排查。
安全动态增加主题分区数
Kafka 支持在线扩分区，无需停服，但有重要限制：
- 只能增加分区数，不能减少；
- 扩分区后，原有消息的分区归属不变，新分区只接收后续写入的消息；
- 必须确保副本分配均衡，避免新分区全部落在同一 Broker 上。
操作步骤：
# 1. 生成重分配计划（示例：从 12 分区扩到 24）echo '{"version":1,"partitions":[{"topic":"your-topic","partition":0,"replicas":[101,102,103]},{"topic":"your-topic","partition":1,"replicas":[102,103,101]},... ]}' > reassignment.json
# 2. 执行重分配
kafka-reassign-partitions.sh --bootstrap-server broker:9092 --reassignment-json-file reassignment.json --execute
# 3. 等待完成并验证
kafka-reassign-partitions.sh --bootstrap-server broker:9092 --reassignment-json-file reassignment.json --verify
同步横向扩展消费者实例
分区扩容生效后，立即扩展消费者才能利用新增并发能力：
-
K8s 环境：直接调高 Deployment 的
replicas，新 Pod 启动后自动加入消费组，触发 Rebalance，分摊新增分区； -
物理机/虚拟机：启动新的消费者进程，使用相同
group.id，Kafka 自动完成分区再均衡； - 注意控制
max.poll.records和fetch.max.bytes，避免单次拉取过多导致处理超时或 OOM。
配套优化建议（非必须但强烈推荐）
单纯扩分区+扩消费者可能治标不治本，建议同步检查：
- 生产者端是否按业务 Key 合理分区？避免热点分区（如所有订单都落到 partition-0）；
- 消费者逻辑是否存在同步 IO、慢 SQL 或反序列化开销？单条耗时高会拖垮整个分区消费速度；
- Broker 磁盘 IO、网络带宽、JVM GC 是否正常？可用
iostat -x 1和jstat快速定位； - 是否启用异步提交 offset？频繁同步提交会显著降低吞吐。
Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
