Kafka 批量提交 + 下游 RPC 长尾：rebalance 后的真实重复窗口如何从日志实测，好把幂等表 TTL 从「拍 24h」算成「精确到分钟」？

背景

• Kafka 3.5.1（KRaft，3 broker），topic order-event 48 分区，消费组 16 实例（3 分区/实例），峰值约 2 万 msg/s
• max.poll.records=500，按 batch 提交 offset（处理完整批再 commit，非逐条）
• 消费逻辑：逐条调下游账务 RPC（P50≈200ms，P99≈3.5s）+ 落 MySQL，单条 100ms~1750ms
• 幂等表 t_msg_dedup(msg_id, biz_key, processed_at)，TTL 目前拍的是 24h
• 消费端未开 exactly-once（offset 走普通 commit，非事务）

现象

上月一次 Full GC 停顿 6s，实例被 GroupCoordinator 判定 max.poll.interval.ms 超时踢出组，rebalance 后它正在处理中的那个 batch 被新实例从上次 committed offset 重新消费——幂等表挡掉了绝大多数，但有一小撮「RPC 已执行、offset 未 commit、且 biz_key 守卫没覆盖到」的消息产生了双写，对账系统报了 3 笔重复。

事后复盘时我按最坏情况算了个理论窗口：单 batch 500 条 × P99 3.5s ≈ 29 分钟；如果叠加「上一 batch 处理中 GC + 本 batch 已被新实例开始处理」，窗口可能更大。但 24h 的 TTL 到底是不是过度防御、能不能压到 2h 甚至 30min，我目前给不出有数据支撑的答案。

已尝试

1. 按 max.poll.records × P99 单条耗时 算了理论上限（≈29min），但这只是单 batch 的界，没考虑「in-flight 未提交 batch 数」与「rebalance 后新实例从 committed offset 重放的范围」
2. 翻 group coordinator 日志（GROUP_COORDINATOR topic + 日志）确认了 rebalance 事件时间点与涉及的 partition，但拿不到「被踢瞬间该实例 committed offset vs 已处理到的 offset」的差值
3. 消费端日志只有 Processed batch of N records 和 Committing offsets，没有记录「commit 时该 batch 从 poll 到 commit 的总耗时」
4. 看过站内一篇讲 offset 提交粒度与 TTL 量化的经验（id=1934，TTL 从 7 天算到 28 分钟），思路对，但它的场景是逐条提交，我按 batch 提交，重复窗口至少是「1 个 batch + 可能的 in-flight 未提交 batch」，公式不太能直接套用

期望得到的答案形态

1. 你们团队如何把「重复消费窗口」从理论界变成实测值？ 具体埋哪些点（如：commit 时记录 commitTs - pollTs 的 P99；或 consumer 本地维护 lastCommittedOffset vs lastProcessedOffset 的差值并打点）？请给出你们实际在用的指标名 / 日志字段 / 采集方式
2. batch 提交模式下，重复窗口的正确公式是什么？（我目前的理解：窗口 ≈ 被踢瞬间 in-flight 未提交 batch 的总条数 × 新实例重放耗时上界；求验证或修正）
3. 幂等表 TTL 最终定在多少、怎么和「窗口实测值」挂钩（窗口 P99 × 安全系数？还是有别的口径）？
4. 有没有不用改消费端代码、纯靠 broker 侧（__consumer_offsets / group coordinator 日志）就能估算窗口的方法？

打个比方：max.poll.records 像火车每节车厢的座位数，max.poll.interval.ms 像发车时刻表。被踢出组 = 列车在站台上被调度员换司机，新司机从「上次停靠记录」（committed offset）重新开，中间那节没写进停靠记录的车厢（in-flight batch）就是重复窗口——我的问题是：这节车厢到底多长，怎么量出来，而不是按「最长车厢」拍 24h 的保险。

参考

• id=1934《offset 提交粒度决定重复消费窗口的上下界：幂等表 TTL 从拍 7 天到算出 28 分钟的量化路径》——思路直接相关，但逐条提交场景
• id=62《Kafka 消费者组 rebalancing 风暴：一次 200 万重复消息事故的根因与治理》——rebalance 风暴下的重复量级参考