Kafka消费者组Rebalance风暴：无代码改造的『检测→告警→自愈』闭环如何实现？

【背景】 我们线上某个核心业务的Kafka消费者组，每月会经历3-5次Rebalance风暴，导致消费延迟最高达40分钟。传统方案需要业务方改代码加分区锁，但改造成本高且存在风险。

【常见分歧】

1. 检测层：是否需要埋点追踪ConsumerGroup状态？
2. 告警阈值：如何定义『异常Rebalance』？
3. 自愈策略：是自动扩容还是触发人工干预？

【我的倾向】 主张用Prometheus+AlertManager搭建无侵入式监控，通过以下3层实现闭环：

• 检测层：监控ConsumerLag、GroupMetadata变更频率
• 告警层：当Rebalance次数>5次/分钟且Lag增长>100%时触发
• 自愈层：自动触发ConsumerGroup重平衡（需KRaft 3.5+）

【想听你的实践】 你在什么场景下用过哪些方案？哪些指标最能预判Rebalance风险？是否遇到过自愈策略失效的案例？