G1 并发标记阶段耗时从 50ms 缓慢爬到 200ms（2 周），Mixed GC 停顿不变但 P99 开始「毛刺化」——这个「静默退化」的预警指标和阈值怎么定才有 48h 提前量？

背景

8 年性能调优，最近在复盘一个「不是事故、但让人坐立不安」的退化模式。

核心服务：Java 17（OpenJDK 17.0.9）+ G1 GC，-Xmx8g -XX:MaxGCPauseMillis=50 -XX:G1ReservePercent=15，K8s Pod 规格 4C8G（cgroup v2，CPU limit=4）。日常 QPS 约 3k，对象分配率约 55MB/s，老年代稳态 35%±5%。SLO：P99 < 80ms，日常 P99 约 35ms。

现象（关键：不是突变，是 2 周缓慢退化）

• 第 1 天：GC 日志里 Concurrent Mark 阶段平均耗时 50ms，Mixed GC 停顿 12~18ms，P99 = 33ms。一切正常。
• 第 5 天：Concurrent Mark 平均耗时 80ms（+60%），Mixed GC 停顿不变（13~17ms），P99 = 36ms。
• 第 10 天：Concurrent Mark 平均耗时 150ms，Mixed GC 停顿仍 14~18ms，但 P99 从 36ms 开始「毛刺化」——P50 仍 8ms，P99 在 45~75ms 之间波动，偶尔触 85ms。
• 第 14 天：Concurrent Mark 平均耗时 210ms，出现 2 次 to-space exhausted 退化为 Full GC（每次 1.8s），P99 飙到 300ms+ 后恢复。

已尝试的排查与结果

1. 排除了 GC 线程被 CFS 节流：/sys/fs/cgroup/cpu.stat 的 nr_throttled 和 throttled_usec 在退化期间无显著变化（增量 < 5%）。-XX:ConcGCThreads 默认值（= max(1, (4+3)/4) = 1）我手动设成了 2，退化趋势未改变。
2. 排除了堆泄漏：老年代稳态始终 35%±5%，无单调上升趋势。jcmd GC.heap_info 各 region 分布正常。
3. 排除了 humongous 分配：GC 日志里 Humongous Alloc 计数在退化前后无变化（0~2 次/小时）。
4. 排查了分配率：-Xlog:gc* 显示分配率从 55MB/s 微涨到 62MB/s（+12%），与上游新增了一个 /batch-export 接口有关（单次分配 2.8MB 的 byte[]，未触发 humongous 但占用了 eden region）。
5. 最终止血：把 /batch-export 的分配从 2.8MB 改为流式分片（每片 512KB），分配率回到 55MB/s，Concurrent Mark 耗时 48h 内回落到 55ms。

卡点：预警怎么做

这次是「事后复盘」才定位到的。真正的痛点是：Concurrent Mark 耗时从 50ms 到 200ms 这 2 周里，没有任何告警触发。因为：

• Mixed GC 停顿指标（我主要盯的）始终在 12~18ms，没超阈值；
• 老年代占用没动；
• P99 在第 1~10 天还在 SLO 内（只是「毛刺化」了，但绝对值没破线）；
• to-space exhausted 是第 14 天才出现，等它出现就晚了。

期望得到的答案形态

1. 你们用什么指标做「GC 静默退化」的早期预警？ 具体到：指标名（JMX / Prometheus exporter 的 metric name）、采集粒度（per-GC-event 还是 per-minute aggregate）、告警条件（绝对值？斜率？环比？）。
2. Concurrent Mark 耗时作为预警指标，你们怎么定基线和阈值？ 比如"连续 3 天均值 > 基线 × 1.5 触发 P2 告警"——你们的倍数和窗口是多少？
3. 有没有比 Concurrent Mark 耗时更敏感的先行指标？ 比如 G1 的 IHOP 实际触发点漂移、Desired Survivor Size 变化、Mixed GC 的 evacuation 失败计数（to-space exhausted 的前兆）？
4. 工具链：你们用什么解析 GC 日志 / 采集 GC 指标？（gclog-agent？async-profiler？JMX + Prometheus？自研解析器？）

我贴两条站内的相关讨论作为参照：

• 一篇 G1 to-space exhausted 的复盘（id=1363），里面提到"退化是连锁反应，但起始信号是 Concurrent Mark 跟不上"；
• 一个 MaxGCPauseMillis 调参的问题（id=1591），讨论了"单次停顿降了但频率翻倍"的 tradeoff，和我要问的"静默退化"是不同维度。

开放问题：你们有没有遇到过"分配率只涨了 10~15%，但 Concurrent Mark 耗时翻 3 倍"的非线性放大效应？这背后是 G1 的 region 碎片化，还是并发标记线程的 work-stealing 效率退化？欢迎带数据分享。