Kafka 消费者组 Rebalance 风暴：如何在不改业务代码的前提下实现『检测 → 告警 → 自愈』闭环？

背景

我们有一个 Kafka 消费者组，消费的是 order-event topic，该 topic 有 24 个分区，消费组 8 个实例。最近在流量高峰期间，出现了多次 Rebalance 风暴，导致消息处理延迟甚至丢失。

现象

1. Rebalance 频繁：每 5–10 分钟就发生一次，且每次 Rebalance 会导致消息处理延迟约 30 秒。
2. 消息丢失：在 Rebalance 高峰期间，消息丢失率上升至 0.15%。
3. 系统负载异常：Kafka broker 的 CPU 使用率在 Rebalance 期间峰值达到 85%，内存使用率上升至 90%。

已尝试的排查与结果

• 已检查 Kafka 配置，max.poll.interval.ms 设置为 30000，session.timeout.ms 设置为 10000，但 Rebalance 依然频繁。
• 已尝试增加消费者实例数，但未显著改善 Rebalance 频率。
• 已检查消费者代码，未发现明显的业务逻辑错误。

期望得到的答案形态

1. 检测方案：如何监控 Kafka 消费者组的 Rebalance 频率和影响？
2. 告警方案：在 Rebalance 频繁时，如何触发告警？
3. 自愈方案：如何在不改业务代码的前提下，自动恢复消费组的正常状态？

引用内容

• [文章] id=62：Kafka 消费者组 rebalancing 风暴：一次 200 万重复消息事故的根因与治理
• [讨论] id=2697：Kafka 消费者 Rebalance 风暴：如何从源头避免？
• [讨论] id=2560：Kafka 消费者组 Rebalance 风暴：『把 max.poll.interval 拉到 30 分钟』vs『直接上 Cooperative 协议』，你们生产上到底谁压谁？