【背景】
我做了 3 年后端，最头疼的不是开发新 feature，而是线上 P99 突然从 20ms 抖到 200ms+ 的那个时刻。告警响了，群里@我了，所有人都在看 dashboard。
我经历过两次典型的 P99 抖动，感受完全不同：
- 第一次：下游 MySQL 慢查询把连接池打满，P99 从 18ms 飙到 800ms，持续 4 分钟。当时我的第一反应是打开 HikariCP 的 metrics，看到 pending 线程数从 0 跳到 200，立刻知道是连接池的问题，5 分钟内定位到那条慢 SQL，kill 掉后恢复。这次「先定位」是对的，因为根因在 metrics 里一眼可见。
- 第二次：上游一次 Full GC 导致请求堆积，P99 从 12ms 抖到 1.2s，但 GC 只持续了 2 秒，等我看日志的时候已经恢复了。我花了 2 小时才从 GC log 里找到证据。复盘时我发现——如果当时先加了限流，P99 根本不会超过 50ms，我也不需要花 2 小时去追一个「已经消失」的问题。这次「先定位」是亏的。
两次经验让我开始认真想一个问题：P99 抖动后的第一个动作，到底该是什么？
【常见分歧 / 几种做法】
团队里对「P99 抖动后的第一个动作」至少有三派，我各带过不同人，都见过：
-
止血派：告警响了 → 先限流 / 降级 / 熔断 → 保住 P99 → 再慢慢查。 理由：用户先于根因重要，P99 每多抖 1 秒都是真金白银的 SLA 损失。而且你不确定根因是什么，盲目查可能查偏方向。
-
定位派：告警响了 → 先看 metrics / 日志 / trace → 5 分钟内定位根因 → 针对性修。 理由：盲目限流可能误伤——比如你限的是正常流量，根因其实是一次配置变更或一次上游发布。而且事后没有根因，同样的抖动下次还会来，你只是在「贴创可贴」。
-
流程派：告警响了 → 按 SOP 走 checklist → 止血和定位并行。 理由：人的判断在高压下不可靠，SOP 才是可靠的。不要依赖「这个 oncall 当天状态好不好」。
三派都有道理，但落到具体操作时经常打架：止血派说「你先限流，我 5 分钟后再查」，定位派说「你限了我怎么查，现场都没了」。
【我的倾向与理由】
我个人偏向「定位优先，但设一个硬 deadline」，具体分三段：
- 前 3 分钟：只做只读操作。 看 metrics（连接池 pending/active、GC pause、慢 SQL count、网络 RTT）、看日志（error rate 有没有跳、有没有新异常堆栈）、看 trace（如果采样率够的话）。不动任何线上配置，不重启，不限流。
- 3 分钟没定位到：立刻切止血模式。 限流 / 降级 / 熔断，先保住 P99。同时保留现场：jstack dump、GC log、metrics 快照打到文件。
- 止血后：再回头定位。 这时候时间压力小了，可以慢慢查。
为什么是 3 分钟？因为 P99 抖动的根因，我统计过自己经手的 20 多次，80% 的情况在 metrics 里「一眼可见」——连接池 pending 跳了、GC pause 超了、慢 SQL 数涨了、网络 RTT 飙了。3 分钟足够扫一遍。但如果 3 分钟看不出来，说明问题可能更隐蔽（内核态、网络中间件、DNS 抖动），硬查的时间成本会指数增长，不如先止血保 SLA。
关键的一点：止血不等于放弃定位。 我在每次止血操作后都会立刻做三件事，加起来不超过 30 秒：
① jstack 留现场（jstack -l <pid> > /tmp/jstack_$(date +%s).log）
② 把当前 metrics 快照打到文件（Prometheus instant query 结果存到 oncall 目录）
③ 在 oncall 群里记一条「时间 + 操作 + 原因」
事后复盘时，这三样东西能省 2 小时。我见过太多团队止血之后现场全丢了，复盘时只能靠「我记得当时好像……」来还原，结论自然不可靠。
【想听大家怎么选】
特别想听几种场景下的选择：
- 你的服务是「状态型」还是「无状态型」？ 前者（有连接池 / 会话 / 本地缓存）限流会丢连接、丢会话，副作用大；后者（纯计算 / 透传）限流几乎无副作用，决策完全不同。你的场景下「止血」的代价是什么？
- 你的 P99 抖动是「高频低幅」还是「低频高幅」？ 高频低幅（每天抖几次，每次几百 ms）适合提前加限流兜底，把 P99 压在 SLO 以内；低频高幅（一个月一次，一次飙 10 倍）更值得事后深挖根因。你们的频率和幅度大概什么量级？
- 你的团队有没有成文的「P99 抖动响应 SOP」？ 如果有，第一个动作是什么？是写死在 wiki 里，还是靠 oncall 的直觉？有没有因为「没有 SOP」而翻过车的？
- 3 分钟这个 deadline 合理吗？ 你们团队的「定位窗口」一般是多久？太短怕误判，太长怕 SLA 崩，怎么定的？
欢迎拍砖，也欢迎分享你们团队的 SOP 和踩坑经历。我觉得这个话题比「怎么调连接池参数」更前置——参数调得再好，第一个动作选错了，一切都白搭。