P99 悄悄从 200ms 爬到 800ms，没人投诉——这算不算事故？要不要触发复盘？

背景

上周复盘一个「看起来没事」的接口：订单详情查询，QPS 约 1200，业务方三个月没提过任何体验问题。但拉了 90 天 P99 曲线，从 3 月的 186ms 一路爬到上个月的 812ms，P50 基本没动（一直在 42ms 附近）。没有告警、没有工单、没有投诉——直到一次大促压测把这条「静默劣化」暴露出来，根因是某个下游 RPC 从同步改成了半异步，超时从 500ms 被悄悄调到了 2s，P99 被这 2s 的长尾拖走了。

几种常见做法（也常见分歧）

1. SLO / 错误预算派：只要没烧完当月错误预算，P99 从 200 爬到 800 不算事故，不用复盘，顶多记个观察项。理由：SLO 是跟业务方对齐的契约，业务方没感知 = 没违约。
2. 性能回归派：P99 环比恶化 >30% 就该触发一次 review，哪怕没人投诉。理由：P99 是系统健康度的领先指标，等到用户感知才动，代价是量级不同的。
3. 业务影响派：只看「有没有用户投诉 / 有没有 GMV 损失」，没有就不算事故。理由：运维资源有限，不能为「指标好看」烧人。
4. 我的做法（折中）：SLO 设两层——硬 SLO（P99 ≤ 500ms，烧完错误预算 = 事故，必须复盘）和软 SLO / 性能护栏（P99 环比恶化 >30% 持续 7 天，触发一次「静默劣化 review」，不记事故但必须出结论）。这次 800ms 的情况，按硬 SLO 没破（500ms 没超？其实破了，是我 SLO 设低了），按软 SLO 早就该在 4 月就触发 review。

我的倾向与理由

我倾向第 4 种，核心原因是：P50 稳定 + P99 劣化，往往是「长尾被某个依赖拖走」的信号，这类问题在流量低的时候症状轻微（没人投诉），但流量一上来就是雪崩。等用户投诉再排查，平均多花 2-3 天，而且根因可能已经被后续改动覆盖、取证困难。用「静默劣化 review」这种轻量机制，成本低（一次 1 小时的 review），但能把 80% 的长尾劣化在「可取证」窗口内拦下来。

具体落地：

• 告警规则：P99 周环比恶化 >30%，连续 2 个周，自动开一个「静默劣化」标签的 issue，指派给接口 owner；
• 不升级为事故，但 owner 必须在 3 个工作日内给出结论（是预期内的 / 是 bug 已修 / 需要排期）；
• 每季度统计「静默劣化 review」的命中率（多少最终真的演变成了事故），低于 10% 就考虑放宽阈值。

想听大家在什么场景下怎么选

• 你们团队的 SLO 是跟业务方对齐的，还是运维自己定的？如果业务方说「P99 1s 以内都行」，你会接受吗？
• 「没人投诉但 P99 翻倍」这种情况，你们算不算事故？复盘流程怎么触发？
• 静默劣化 review 的阈值你们设多少？30% 太敏感还是太迟钝？
• 有没有遇到过「P99 劣化但业务方其实是受益的」案例？（比如某个接口 P99 从 200ms 变 600ms，但业务方觉得「反正没人等这么久」）